LLM Değerlendiricileriniz İçin Regresyon Testi Şart
rubric-bench v0.1, LLM tabanlı değerlendiricileri altın veri setleriyle test eden açık kaynak bir araç. CI'da regresyonları yakalayıp model sürüklenmesini önlüyor.
Bu yazı, LLM tabanlı değerlendiricilerin (grader, triage sınıflandırıcı, otomatik puanlama modeli) çoğu ekipte test edilmeden üretime alındığına dikkat çekiyor. Oysa bu modeller model sürüm güncellemeleri, sağlayıcı değişiklikleri veya prompt düzenlemeleriyle sessizce davranış değiştirebiliyor. Çözüm olarak sunulan rubric-bench v0.1, bir TypeScript kütüphanesi ve CLI aracı: versiyonlanmış 'altın' test setleri üzerinden bir grader'ı çalıştırıp (run) sonucu doğruluk oranıyla raporluyor, iki çalıştırma arasında fark (diff) alarak regresyonları tespit ediyor ve CI'a entegre edildiğinde regresyon varsa build'i başarısız kılıyor.
İlk gerçek test çalıştırmasında, 72 vakalık bir istatistik değerlendirme setinde model %95.8 doğruluk gösterdi; üç hatanın tamamı 'kısmi doğru' beklenen ama 'yanlış' olarak işaretlenen, insan değerlendiricilerin de anlaşmazlığa düştüğü gri bölge vakalarıydı. Ayrıca API yanıt hatalarının vaka bazında yakalanması ve LLM değerlendirmesindeki doğal belirsizlik (aynı setin art arda çalıştırılmasında bir-iki vaka farkı) gibi pratik mühendislik dersleri de paylaşıldı.
Yazar, kendi yargıcınız için altın set oluştururken sayısal skorlar yerine ayrık kararlar (doğru/kısmi/yanlış) kullanmayı, gerçek verilerle başlamayı, kısmi puanlı vakaları gerçekten belirsiz tutmayı ve her vakayı etiketlemeyi öneriyor. rubric-bench'in bir psikometrik araç olmadığını, sadece grader'ın değiştiğini gösterdiğini, insan değerlendiricilerle uyumu ölçmediğini de açıkça belirtiyor.
Mühendisler için önemi açık: LLM tabanlı karar mekanizmaları artık üretim bağımlılığı haline geldi ve şema migrasyonlarına uyguladığımız disiplinin aynısı — sürüm sabitleme, değişiklik öncesi test, CI'da gate — burada da uygulanmalı.