Eval Kapısında Ciddiyet Seviyesi, Düz Başarı Oranından Önemli
severity_gate.py, ajan eval sonuçlarını başarı yüzdesi yerine hata ciddiyetine göre değerlendirip SHIP/REVIEW/BLOCK kararı veren, çevrimdışı ve stdlib tabanlı bir CI aracı.
Bu yazı, ajan tabanlı sistemlerin CI hattında yaygın bir yanılgıya işaret ediyor: eval sonuçlarını tek bir ortalama başarı oranına indirgemek. Yazara göre bu yaklaşım, kritik bir hatayı (örneğin bir müşteri e-postasının log'a sızması) yüzlerce önemsiz hatayla (trailing whitespace gibi) aynı ağırlıkta değerlendirdiği için asıl tehlikeyi görünmez kılabiliyor. Çözüm olarak sunulan severity_gate.py, tamamlanmış bir eval sonuç JSON'ını ve isteğe bağlı bir politika dosyasını okuyarak SHIP, REVIEW veya BLOCK kararı üretiyor.
Aracın mantığı basit: kullanıcı tarafından etiketlenmiş severity_class alanına bakıp, kritik sınıfta tek bir başarısızlık varsa aggregate ne olursa olsun BLOCK döndürüyor; yüksek sınıfta hata veya eşik altı başarı oranı REVIEW'a, temiz sonuçlar ise SHIP'e yol açıyor. Yazıda paylaşılan bir demo, 40 test üzerinden %92.5 başarı oranı sabit kalırken sadece iki test vakasının severity_class alanını low'dan critical'a çevirmenin kararı SHIP'ten BLOCK'a çevirdiğini gösteriyor.
Önemli bir sınırlama açıkça belirtiliyor: araç PII tespiti yapmıyor, doğruluk değerlendirmesi yapmıyor ve yeni hata bulmuyor; sadece zaten etiketlenmiş hataları yeniden ağırlıklandırıyor. Python standart kütüphanesi (json, sys) dışında bağımlılığı olmayan, ağ bağlantısı gerektirmeyen ve deterministik STDOUT üreten araç, CI entegrasyonu için 0/1/2 exit kodları sunuyor. Mühendisler için önemi, deploy kararının ortalamalar yerine dağılıma dayanması gerektiğini somut bir örnekle göstermesinde yatıyor.