» Etiket
llm
4 yayınQuantprobe: 16 GB RAM'lik Eski PC'de 110B Parametreli LLM Çalıştırma
Quantprobe aracı, 2016 model bir PC'de 110B parametreli LLM'i 16GB RAM ve SATA SSD ile çalıştırmanın ölçümle kanıtlanmış yöntemini gösteriyor.
Yapay Zeka Neden İngilizce Dışında Daha Kötü Çalışıyor?
Büyük dil modellerinin İngilizce dışında neden daha kötü çalıştığını; eğitim verisi, tokenizer verimliliği ve maliyet açısından inceliyoruz.
Turo: CLI AI Ajanları için Agresif Token Tasarrufu Proxy'si
Turo, CLI tabanlı AI ajanlarının prompt token kullanımını dolgu kelimeleri silerek %70'e kadar azaltan açık kaynaklı proxy aracı.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comLLM API'leri için Atomik Redis Harcama Limiti
LLM API'leri için atomik Redis harcama limiti, harcamaları kontrol altında tutmak için etkili bir çözüm sunuyor.