Değerlendirme Odaklı Açık Kaynak Kurs: doerkit ve rubric-bench
doerkit ve rubric-bench: LLM'yi rubrik yargıcı olarak kullanan açık kaynak bir istatistik kursu ve genel amaçlı yargıç test çerçevesi.
Sekiz yazılık bir serinin sonunda artık tartışılacak bir iddia değil, çalıştırılabilir bir sistem var: doerkit adlı açık kaynaklı istatistik kursu, LLM'yi sohbet botu olarak değil, rubrik kriterlerini boolean olarak değerlendiren bir yargıç olarak kullanıyor; notlamayı kod hesaplıyor. Kardeş repo rubric-bench ise bu yargıcın regresyon testlerini, çekişmeli (adversarial) senaryolarını ve ton ölçümlerini sağlıyor — eğitim dışında da genel amaçlı kullanılabilecek bir yapı.
Projenin ortaya çıkardığı bulgular ilgi çekici: sınıf-ötesi prompt injection saldırılarına karşı direnç modele göre değişiyor, notlama sertliği ile sıcaklığı ayrı ayrı ayarlanabiliyor (yani soğuk bir yargıç titizlik değil kusur), ve en büyük etki boyutunu gösteren şey ne yapay zeka notlayıcısı ne de sohbet botu, sıkıcı bulunan kümülatif tekrar özelliği.
Ancak yazarın kendisi de sınırları net çiziyor: gerçek bir dağıtım için LMS entegrasyonu, kimlik doğrulama, çok kiracılı mimari, FERPA veri anlaşması, insan değerlendirici doğrulaması ve randomize kontrollü çalışma hâlâ eksik. Etki büyüklüğü de tek bir gözlemsel pilottan geliyor ve seçilim etkisiyle karışabilir (0,71-1,30 standart sapma aralığı). Asıl çıkarım: mühendisler için değerli olan eğitim ürünü değil, üretimdeki her LLM yargıcı için uygulanabilir eval-suite deseni.