Çoklu ajanlı AI sistemlerinde gözlemlenebilirlik krizi
AI ajanları başka ajanları tetiklediğinde hatalar genellikle görünmez kalır. Sentry'nin trace tabanlı izleme yaklaşımı, hangi ajanın soruna yol açtığını ortaya çıkarıyor.
Yapay zeka sistemleri artık tek bir modelin çağrılmasından ibaret değil; orkestratör ajanlar, planlama, arama ve doğrulama için başka alt ajanları tetikliyor. Bu mimarilerde bir hata genellikle bir exception olarak değil, zincirde ilerleyen sessiz bir bağlam bozulması olarak ortaya çıkıyor. Orkestratör görevin başarılı olduğunu düşünürken kullanıcı hatalı bir sonuçla karşılaşabiliyor ve klasik loglarda hiçbir belirgin arıza görünmeyebiliyor.
Beş ajanın koşullu mantıkla ve paylaşılan bağlamla birbirini çağırdığı sistemlerde sorun, kod yürütmesini değil ortaya çıkan (emergent) davranışı hata ayıklamaya dönüşüyor. Mikroservislerin dağıtık izlemeyi zorunlu kılması gibi, çoklu ajan sistemleri de doğru enstrümantasyon olmadan 'yapay zeka bir şey yanlış yaptı' ifadesini anlamsız hale getiriyor.
Etkili bir izleme yaklaşımı; ajan geçişleri arasında kesintisiz trace zinciri, her ajana ait gecikme/token/model bilgisiyle span bazlı atıf, hata türlerinin (zaman aşımı, kötü araç çıktısı, bağlam taşması, halüsinasyon) ayrıştırılması ve görev düzeyinde maliyet/token atfını gerektiriyor. Sentry, mevcut dağıtık izleme altyapısını temel alarak OpenAI, Anthropic, LangChain, LangGraph gibi başlıca çerçeveler için otomatik enstrümantasyon sunuyor; desteklenmeyen çerçevelerde ise manuel span eklemek yaklaşık on satır kod gerektiriyor.
Sentry'nin Seer aracı, beş ajanlı bir trace'te hatanın en olası kaynağını belirleyerek triage süresini kısaltmaya yardımcı oluyor. Mühendisler için pratik başlangıç noktası, önce orkestratörü üst seviye bir transaction olarak, her ajan çağrısını da alt span olarak enstrümante etmek.