» Etiket
llm
48 yayınSparSEEty: Sparsity Kullanan LLM Servis Sistemlerinden Token Çıkartma
SparSEEty, LLM servis sistemlerinden token çıkarma saldırısını ele alıyor. Yüksek başarı oranıyla giriş tokenlerini yeniden yapılandırıyor.
Commons: LLM Ajanları Arasında Bilgi Miras Deneyleri
Commons, LLM ajanları arasında bilgi mirası ve hatalarını araştıran deneysel bir çerçevedir.
LLM'lerin Dosya Sistemi Tasarımı ve Uygulamasındaki Performansı
LLM'lerin dosya sistemi geliştirme üzerindeki etkilerini inceleyen Bench çerçevesi, 505 görevle performans analizi sunuyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comvLLM: Yüksek Verimli LLM Çıktı Sistemi Bileşenleri
vLLM'nin yüksek verimli LLM çıktı sistemi bileşenleri ve özellikleri hakkında bilgi edinin.
Tüketici Donanımında LLM Eşzamanlılık Testi (RTX 5060)
RTX 5060 ile yapılan LLM eşzamanlılık testleri, mühendisler için önemli bulgular sağlıyor.
Model Genome: LLM'lerin Sıfırdan mı Türetilmiş Olduğunu Belirleme
Model Genome, LLM'lerin sıfırdan mı yoksa türetilmiş mi olduğunu belirlemek için bir yöntem sunuyor.
LLM Üretimi Python Kodlarını Hızla İnceleyen Bir Araç
Python kodlarını incelemek için pyreplay aracı, LLM tarafından üretilen projelerin anlaşılmasını hızlandırır.
Patlayıcı Gelen Talepler LLM Çıktı Sürelerini Hızlandırıyor
Patlayıcı yüklerin LLM çıktılarında beklenmedik hız artışı sağladığı keşfedildi.
Red-team LLM Araçları ile Simüle Edilmiş Aksiyonlar
CoT Red Team Agent, LLM ve ajan davranışlarını değerlendirir. Açık kaynaklı CLI ve Python API ile güvenlik testleri yapın.
MoE Yük Dengesizliğini Optimal Taşıma ile Çözme
MoE mimarisindeki yük dengesizliğini çözmek için TAOT yöntemi ile eğitim hızında %43 artış sağlandı.