» Etiket
llm
60 yayınAMD MI300X ve Nvidia H100 ile 72B LLM için byte-aynı çıkarım
Yeni bir protokol, AMD MI300X ve Nvidia H100 ile 72B LLM için byte-aynı çıkarımlar üretiyor.
Özel LLM API'lerinden Akıl Yürütme İzlerini Çalma
Sınır AI modellerinin API'lerinde bulunan güvenlik açığı ile akıl yürütme izlerini çıkarmayı başardık. Bu durum mühendisler için önemli güvenlik riskleri oluşturuyor.
Açık bir ajan güvenlik benchmark'ı: Yakalanamayan saldırılar
Modern LLM ajanlarına yönelik 497 saldırıyı içeren açık bir güvenlik benchmark'ı oluşturuldu.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comLLM Kullanımında Bağlam Mühendisliği
Bağlam mühendisliği, LLM'nin alan bilgisi ile optimize edilmesini sağlıyor. Daha doğru yanıtlar için indeks kullanımı.
LLM Hata Ayıklayıcı: İnce Ayar Hatalarını Tespit Etme
Gradian, LoRA ince ayar LLM'ler için eğitim verisi atıf motorudur. Hataları tespit etme ve düzeltme sürecini kolaylaştırır.
Meta'nın GEM Modeli ile Reklam Verimliliği İki Katına Çıktı
Meta, GEM modeli ile reklam öneri sistemlerinde eğitim verimliliğini iki katına çıkardı. Bu başarı, mühendislik zorluklarını aşarak sağlandı.
LLM İnferansından Ajanik Yüklemelere: Karakterizasyon ve Etkileri
Ajanik uygulamaların LLM hizmetini nasıl etkilediği ve sistem davranışlarının karakterizasyonu hakkında bilgiler.
SparSEEty: Sparsity Kullanan LLM Servis Sistemlerinden Token Çıkartma
SparSEEty, LLM servis sistemlerinden token çıkarma saldırısını ele alıyor. Yüksek başarı oranıyla giriş tokenlerini yeniden yapılandırıyor.
LLM Üretimli UI İçin Performans Kıyaslaması
OpenUI, A2UI ve json-render ile 30 modelin yapısal geçerlilik ve maliyet kıyaslamasını sunuyor.
Commons: LLM Ajanları Arasında Bilgi Miras Deneyleri
Commons, LLM ajanları arasında bilgi mirası ve hatalarını araştıran deneysel bir çerçevedir.