» Etiket

local-llm

11 yayın

27 Tem 20269.21
397B Parametreli MoE Modeli Tek RTX PRO 6000 96GB GPU'da Çalıştı
Krasis çalışma zamanı, 397B parametreli MoE modelini tek RTX PRO 6000 96GB GPU'da 2.354 tok/s prefill hızıyla çalıştırdı.
gpu llm-inference local-llm moe
12 Tem 20268.43
Tesla P100'ün llama.cpp'deki yıllık FP16 hatası 3 satırla çözüldü
llama.cpp'deki 3 satırlık CUDA yaması, Tesla P100'ün yıllardır süren gizli FP16 hassasiyet hatasını performans kaybı olmadan gideriyor.
cuda gpu-inference llama.cpp local-llm
11 Tem 20268.30
GLM 5.2 Yerel Kurulum Rehberi: Kuantizasyon ve Donanım Seçimi
753B parametreli MoE modeli GLM 5.2'yi yerelde çalıştırmak için Unsloth dinamik kuantizasyonları, RAM gereksinimleri ve donanım seçenekleri karşılaştırıldı.
glm-5.2 gpu-hardware llm-inference local-llm
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
8 Tem 20268.10
VisionBridge: Metin tabanlı LLM'lere görüntü yeteneği kazandıran MIT proxy
VisionBridge, OpenAI uyumlu küçük bir proxy ile herhangi bir metin LLM'ini ayrı bir görme modeliyle görüntüleri analiz edebilir hale getiriyor. Eğitim ya da ağırlık gerekmiyor.
llm local-llm mit-license open-source
7 Tem 20268.10
antirez'in DS4 motoru: DeepSeek V4 Flash MacBook Pro'da yerelde zirve
antirez'in DS4 motoruyla çalışan DeepSeek V4 Flash, MacBook Pro'da zor kodlama görevlerini tek seferde çözüyor, diğer yerel modelleri geride bırakıyor.
deepseek llm-engineering local-llm macbook-pro
13 Tem 20268.00
Küçük Modelleri Bilinçli Tercih: 16GB M1'de Otonom Ajan İnşası
Bir mühendis neden 16GB M1 Mac ve küçük modellerle otonom ajan çalıştırmayı bilinçli olarak tercih ediyor? Tasarım disiplini üzerine bir vaka analizi.
agent-design ai edge-computing llm
12 Tem 20268.00
Kira Projesi: AI ajanları için değiştirilemez kanıt katmanı mimarisi
Kira Projesi, AI ajanları için değiştirilemez kanıt zinciri ile şeffaf, denetlenebilir bir mimari sunuyor: kayıt ile rapor ayrılıyor, kanıtlanıyor.
agents ai local-llm observability
9 Tem 20267.90
Ghost Vessel: Yerel AI Ajanına Sohbet Yerine Yüz Takıldı
Geliştirici, yerel LLM ajanı için Telegram sohbetini video görüşme tarzı bir avatarla değiştirdi. Ghost Vessel, GPU'yu modele bırakan önceden render edilmiş klip mimarisi ve duygu etiketleriyle çalışıyor, açık kaynak.
ai ai-agents llm local-llm
21 Tem 20267.80
Tamamen Yerel Bir Sesli Asistan Geliştirdim
Tamamen yerel bir sesli asistan geliştirdim. Bulut yok, açık kaynak, 5 saniye yanıt süresi.
local-llm machine-learning open-source speech-recognition
10 Ağu 20267.31
1.5B Model Trained to Write Shell Commands on a Laptop CPU
Kullanıcı, 1.5B Qwen2.5-Coder modelini shell komutları yazmak için eğitti. Model, dizüstü bilgisayarda çalışıyor.
ai local-llm machine-learning nlp