LLM Ajan Hatlarında Çıkmaz Durum Tuzağı: Sonsuz Döngüden Beter
LLM ajan pipeline'larında sonsuz döngüyü engellemek için eklenen güvenlik durumları, çıkışsız bir tuzağa dönüşerek orkestrasyonu tamamen kilitleyebilir.
Bir üretim ortamındaki LLM ajan pipeline'ında sonsuz döngü riskine karşı GitHub Copilot'a durum makinesi mantığını incelettiren ekip, beklenmedik ve daha tehlikeli bir hataya rastladı: çıkışsız durum tuzağı. Copilot, tekrarlayan hatalardan sonra ajanları UPDATE_NEEDED ve NEEDS_HUMAN_REVIEW durumlarına yönlendiren bir güvenlik mekanizması önerdi, fakat bu durumlardan çıkış yolu tanımlamadı. Sonuç olarak orkestratör, geçerli bir geçiş bulamadığı için tamamen kilitlendi; bu, gürültülü ve maliyetli olan sonsuz döngülerin aksine sessiz ve fark edilmesi zor bir arızaydı.
Bu vaka, büyük dil modellerinin yerel düzeltmeler üretmede başarılı olsa da durum grafiğinin küresel bütünlüğünü (kapanış, canlılık, güvenlik) gözetmediğini gösteriyor. Yazı, Leslie Lamport'un canlılık-güvenlik ayrımına referansla, her sonlanmayan durumun mutlaka bir çıkış geçişine sahip olması gerektiğini vurguluyor. Ekip, sorunu her durum için giden geçiş bulunup bulunmadığını doğrulayan basit bir Node.js betiğiyle CI/CD sürecine entegre ederek çözmüş; ayrıca maliyet tavanı gibi dışarıdan zorlanan, LLM tarafından atlatılamayan sert güvenlik mekanizmalarının max_iterations gibi yumuşak önlemlerden daha güvenilir olduğunu savunuyor.
Mühendisler için çıkarım net: bir LLM'in önerdiği durum makinesi değişikliğini asla doğrulamadan devreye almayın. Geçiş tablosunun kapanışını, sonlu durumları ve geri dönüş yollarını programatik olarak test etmek, üretimde sessizce donan ve manuel müdahale gerektiren sistemlerden kaçınmanın tek yoludur.