» Etiket
local-llm
10 yayın397B Parametreli MoE Modeli Tek RTX PRO 6000 96GB GPU'da Çalıştı
Krasis çalışma zamanı, 397B parametreli MoE modelini tek RTX PRO 6000 96GB GPU'da 2.354 tok/s prefill hızıyla çalıştırdı.
Tesla P100'ün llama.cpp'deki yıllık FP16 hatası 3 satırla çözüldü
llama.cpp'deki 3 satırlık CUDA yaması, Tesla P100'ün yıllardır süren gizli FP16 hassasiyet hatasını performans kaybı olmadan gideriyor.
GLM 5.2 Yerel Kurulum Rehberi: Kuantizasyon ve Donanım Seçimi
753B parametreli MoE modeli GLM 5.2'yi yerelde çalıştırmak için Unsloth dinamik kuantizasyonları, RAM gereksinimleri ve donanım seçenekleri karşılaştırıldı.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comVisionBridge: Metin tabanlı LLM'lere görüntü yeteneği kazandıran MIT proxy
VisionBridge, OpenAI uyumlu küçük bir proxy ile herhangi bir metin LLM'ini ayrı bir görme modeliyle görüntüleri analiz edebilir hale getiriyor. Eğitim ya da ağırlık gerekmiyor.
antirez'in DS4 motoru: DeepSeek V4 Flash MacBook Pro'da yerelde zirve
antirez'in DS4 motoruyla çalışan DeepSeek V4 Flash, MacBook Pro'da zor kodlama görevlerini tek seferde çözüyor, diğer yerel modelleri geride bırakıyor.
Küçük Modelleri Bilinçli Tercih: 16GB M1'de Otonom Ajan İnşası
Bir mühendis neden 16GB M1 Mac ve küçük modellerle otonom ajan çalıştırmayı bilinçli olarak tercih ediyor? Tasarım disiplini üzerine bir vaka analizi.
Kira Projesi: AI ajanları için değiştirilemez kanıt katmanı mimarisi
Kira Projesi, AI ajanları için değiştirilemez kanıt zinciri ile şeffaf, denetlenebilir bir mimari sunuyor: kayıt ile rapor ayrılıyor, kanıtlanıyor.
Ghost Vessel: Yerel AI Ajanına Sohbet Yerine Yüz Takıldı
Geliştirici, yerel LLM ajanı için Telegram sohbetini video görüşme tarzı bir avatarla değiştirdi. Ghost Vessel, GPU'yu modele bırakan önceden render edilmiş klip mimarisi ve duygu etiketleriyle çalışıyor, açık kaynak.
Tamamen Yerel Bir Sesli Asistan Geliştirdim
Tamamen yerel bir sesli asistan geliştirdim. Bulut yok, açık kaynak, 5 saniye yanıt süresi.
Apogee: Tarayıcıda Çalışan Yerel AI Asistanı
Apogee, tarayıcıda çalışan yerel bir AI asistanıdır. Gizlilik odaklı, bulut bağımsız ve kullanıcı dostudur.