» Etiket
llm
536 yayınllama.garden: Nostr tabanlı merkeziyetsiz LLM torrent ağı
llama.garden, LLM ağırlıklarını torrent ile dağıtır; Nostr tabanlı katalog ve Hugging Face yedek sunucu desteğiyle seedersiz bile indirme sağlar.
1 milyon token başına fiyat neden yanıltıcı bir metrik
AI modellerini token başına fiyatla karşılaştırmak yanıltıcı olabilir. Tokenizer farkları ve chain-of-thought verimliliği, gerçek görev maliyetini token fiyatından çok daha fazla etkiliyor.
Token Şişirmesi: LLM'lerdeki Kara Kutu Denetimi
LLM hizmetlerinde token şişirmesi üzerine yapılan yeni bir denetim çalışması, kullanıcılar için önemli bulgular sunuyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com24 GiB Dizüstü Bilgisayarda 200K-Token LLM Sunumu
JustFit, 24 GiB dizüstü bilgisayarda 200K-token LLM sunumunu mümkün kılıyor.
Mini-Jev: LLM Üzerinde Typesafe Jev Uygulaması
Mini-Jev, donmuş bir modelde JSON yerine çoktan seçmeli sorularla sınıflandırma yapıyor.
WebLLM: Tarayıcıda Yüksek Performanslı LLM Çalıştırma Motoru
WebLLM, tarayıcıda yüksek performanslı LLM çıkarım motoru sunar. OpenAI API uyumlu ve özel model entegrasyonu sağlar.
NVIDIA Dynamo ile LLM Çıktı Kapasitesini Hızla Yenileyin
NVIDIA Dynamo'daki gölge motoru kurtarma, LLM süreçlerinin hızlı bir şekilde yeniden başlatılmasını sağlıyor.
AMD MI300X ve Nvidia H100 ile 72B LLM için byte-aynı çıkarım
Yeni bir protokol, AMD MI300X ve Nvidia H100 ile 72B LLM için byte-aynı çıkarımlar üretiyor.
Özel LLM API'lerinden Akıl Yürütme İzlerini Çalma
Sınır AI modellerinin API'lerinde bulunan güvenlik açığı ile akıl yürütme izlerini çıkarmayı başardık. Bu durum mühendisler için önemli güvenlik riskleri oluşturuyor.
Microsoft'ın Üç Katmanlı LLM Yönlendirme Mimarisi
Microsoft, Azure Kubernetes Service için üç katmanlı LLM yönlendirme mimarisini tanıttı. Ajan trafiğini etkili bir şekilde yönetmek için tasarlandı.