» Etiket

llm-as-judge

4 yayın

14 Tem 20268.60
LLM Değerlendiricilerde Kırılamayan %75 Yanlış Negatif Duvarı
LLM tabanlı reviewer'ların çözülemeyen %75 yanlış negatif sorununu ve neden oylama, prompt kalibrasyonu gibi standart çözümlerin işe yaramadığını inceliyoruz.
ai-agents evaluation llm llm-as-judge
13 Tem 20268.60
Değerlendirme Borcu: Ajan Testleri Neden Üretimde Çöküyor
Ajan değerlendirme araçlarının üretimde neden yetersiz kaldığını, çok-ajanlı sistemlerde büyüyen eval sorununu ve oturum tabanlı çözümü inceliyoruz.
ai-agents llm-as-judge llm-evaluation mlops
14 Tem 20268.51
LLM Hakemlerdeki Önyargı: Aktivasyon Geometrisiyle Açıklanıyor
LLM-as-judge önyargısını aktivasyon geometrisiyle açıklayan çalışma; nedensel steering ve doğrusal problarla hata öngörüsü sunuyor.
activation-steering bias llm-as-judge mechanistic-interpretability
Reklam
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.com
8 Tem 20267.60
LLM-as-judge testleri neden çalıştırma başına farklı sonuç verir
CI'da faithfulness eşiğini kontrol eden LLM hakem, aynı kodda bir gün 0.79 bir gün 0.82 verebilir. Sıcaklık, model sürümü ve belirsiz rubric jitter'ın kaynağı; k-örnekleme ve gürültü bandı çözüm.
ci-cd llm-as-judge llm-evaluation mlops

LLM Değerlendiricilerde Kırılamayan %75 Yanlış Negatif Duvarı

Değerlendirme Borcu: Ajan Testleri Neden Üretimde Çöküyor

LLM Hakemlerdeki Önyargı: Aktivasyon Geometrisiyle Açıklanıyor

CommitBrief — terminalde yapay zekâ destekli kod incelemesi

LLM-as-judge testleri neden çalıştırma başına farklı sonuç verir