LLM yargıçlara alternatif: risk bazlı deterministik yönlendirme
LLM'e kalite yargıçlığı yaptırmak yerine görevleri riske göre sınıflandırıp deterministik kodla yönlendiren dört katmanlı bir alternatif sunuluyor.
Yazar, önceki üç makalede test ettiği 'ajan kalite kapısı' yaklaşımlarının ortak bir kusuru paylaştığını savunuyor: bir LLM'in başka bir LLM'in çıktısını 'doğru mu yanlış mı' diye anlamsal düzeyde yargılayabileceği varsayımı. Altı ayrı deneyde bu varsayımın leksikal örtüşme, sıcaklık=0 determinizmi, faz kapıları, embedding benzerliği ve model gücü gibi farklı boyutlarda başarısız olduğu gösterilmiş. Bu makale ise eleştiriden öteye geçip somut bir alternatif sunuyor: doğruluk yerine risk yargılamak.
Önerilen mimari dört katmandan oluşuyor ve hiçbir yeni LLM bağımlılığı gerektirmiyor. Görevler önce çıktı tipine göre yönlendiriliyor: doğrulanabilir çıktılar (kod, JSON) otomatik derleme/şema kontrolüyle onaylanıyor; yüksek riskli işler (para, hukuk, gizlilik) tamamen insana devrediliyor; düşük riskli içerikler otomatik yayınlanıyor; orta riskli içerikler ise klasik 'tam metin okuma' yerine yalnızca değişen kısımların gösterildiği bir diff incelemesine tabi tutuluyor. Bunun yanında istatistiksel süreç kontrolü, anlamsal kümeleme yerine yürütme adımı sayısı, çıktı uzunluğu ve özel karakter oranı gibi davranışsal metriklerle anomali tespiti yapıyor; güven skorları yerine de sabit oranlı örnekleme (ör. sıfırdan üretilen içerikte %5) kullanılıyor.
Yazar kendi tasarımına da aynı eleştirel bakışı uyguluyor: görev sınıflandırmasının ücretsiz olmadığını, diff incelemenin yalnızca önceki bir sürümü olan düzenleme görevlerinde işe yaradığını, %5 örneklemenin belirli bir günde kusurları kaçırma olasılığının %33 olduğunu ve hassas araç çağrılarının kesilmesinin de kendi maliyeti olduğunu açıkça kabul ediyor. Sonuç, kusursuz bir çözüm değil, ölçülebilir kısıtlamaları olan, tamamen deterministik kodla çalışan pragmatik bir kontrol katmanı öneriyor.