Değerlendirme Borcu: Ajan Testleri Neden Üretimde Çöküyor
Ajan değerlendirme araçlarının üretimde neden yetersiz kaldığını, çok-ajanlı sistemlerde büyüyen eval sorununu ve oturum tabanlı çözümü inceliyoruz.
AI ekiplerinin %38'i, ajan değerlendirme sistemlerinin en büyük darboğaz haline geldiğini bildiriyor. Sorun framework seçimi değil; LangSmith, Braintrust, Phoenix gibi araçların tamamı sabit bir test setine göre skor üretiyor, ama üretim trafiği o setin yakaladığı anlık görüntüyü hızla aşıyor. Offline testler geçmişi ölçer, üretim ise geleceği test eder ve bu ikisi neredeyse hiç örtüşmez.
Çok-ajanlı sistemlerde bu sorun katlanarak büyüyor: beş ajan 2-5 kat daha fazla yürütme yolu, on ajan ise kestirilemeyen ortaya çıkan davranışlar demek. Ekipler genelde offline değerlendirme, gateway kontrolleri, guardrail'ler ve iş mantığı doğrulaması için dört ayrı araç birleştirmek zorunda kalıyor. LLM-hakem skorlaması da konum ve uzunluk yanlılığı, karmaşık görevlerde %50'yi bulan hata oranları ve uzman görüşüyle sadece %64-68 uyum gibi sistematik zayıflıklar taşıyor; CI'yi böyle bir metriğe bağlamak sessiz bir üretim riski oluşturuyor.
Olgun ekipler çözümü daha iyi bir framework seçmekte değil, altyapıda arıyor: her ajan turunu (girdi, akıl yürütme, araç çağrıları, maliyet, gecikme) tek bir gözlemlenebilirlik katmanında toplayıp, değerlendirmeleri doğrudan bu oturum verisi üzerinden canlı çalıştırmak. Üretimden etiketlenen her tur, bir sonraki offline sete, fine-tune verisine ve pekiştirmeli öğrenme ödül fonksiyonuna geri besleniyor — plato çizen ajanlarla sürekli gelişen ajanlar arasındaki fark tam olarak bu kapalı döngü.