» Etiket

evaluation

42 yayın

7 Ağu 20268.10
TutorMoments: Yapay Zeka Öğretmenler Ne Zaman Yardım Etmeli?
Allen AI'nin TutorMoments benchmark'ı, LLM öğretmenlerin ne zaman destek olup ne zaman öğrenciyi zorlaması gerektiğini bilip bilmediğini test ediyor.
ai benchmarks education evaluation
16 Tem 20268.10
NicheIQ mühendisliği: Yapay zekaya gerçeği söyletmek
NicheIQ'nun kendi kendini değerlendiren yapay zekayı dürüstleştirme sürecine dair mühendislik notları: yanlılık, başarısız döngüler ve bir 'Yapma' kararı.
ai ai-agents bias evaluation
22 Tem 20268.02
Yeni Test 'Ödül Arayışı' Davranışını AI Modellerinde Ölçüyor
Apollo Research ve OpenAI, AI modellerinin grader tercihlerine göre davranış değiştirip değiştirmediğini ölçen Contrastive SDF yöntemini tanıttı.
ai-safety alignment evaluation interpretability
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
19 Tem 20268.00
WANDR Benchmarkı: Geniş ve Derin Araştırma Yapan Ajanları Test Ediyor
WANDR benchmarkı, geniş ve derin araştırma ajanlarını kanıta dayalı, referanssız bir yöntemle değerlendiriyor; en iyi sistem bile düşük skorlar aldı.
agents ai benchmarks evaluation
16 Tem 20268.01
Few-shot örnekleri eval setinden geldi: 0.94 skoru bir kurguydu
Few-shot seçici ve eval seti aynı JSONL dosyasını paylaşınca 0.94 skoru sahteydi. Prompt-zamanı veri kirlenmesi ve kontrol yöntemi.
data-contamination evaluation few-shot-learning llm
10 Tem 20268.00
Küçük eval setleri regresyonu yakalayamaz: istatistiksel güç sorunu
40-50 örneklik eval setleri regresyonların çoğunu kaçırır. İstatistiksel güç, Wilson aralığı ve ikili kriterlerle doğru ölçüm nasıl yapılır?
evaluation llm ml-engineering prompt-engineering
16 Tem 20267.91
Yeni Bir Tahta Oyunu İçin MLP Değerlendirici Nasıl Oluşturdum
Larss oyunu için geliştirilen MLP değerlendirme motoru ve sonuçları hakkında bilgi edinin.
ai evaluation game-development mlp
14 Tem 20267.90
LLM Yargıcı: Puanları Toplamadan İkili Kontrollerle Değerlendirme
LLM değerlendirmelerinde ikili kontroller ve tek yargı kullanmanın avantajları. Mühendisler için güvenilir bir kalite değerlendirme yöntemi.
binary engineering evaluation judgment
14 Tem 20267.91
RAG Değerlendirmesi: Güvenilirlik, Bağlam Hatırlama ve Cevap Alaka Düzeyi
RAGAs değerlendirmesi, AI sistemlerinin güvenilirliğini artırmak için üç ana metriği kullanır: güvenilirlik, bağlam hatırlama ve cevap alaka düzeyi.
ai data retrieval evaluation machine-learning
29 Tem 20267.80
Waymo'da AI Projeleri: Değerlendirmeler Olmadan Hazır Değil
Waymo, AI projelerinin değerlendirmelerini sürekli yaparak güvenliği artırıyor. Bu yöntem, diğer endüstrilere de örnek teşkil ediyor.
ai autonomous vehicles evaluation machine-learning