Yapay zeka ajanlarının hatalı araç çağrılarını önceden yakalayan yöntem
Araştırmacılar, seyrek otokodlayıcılar ve doğrusal problarla ajan modellerinin iç durumunu okuyarak riskli araç çağrılarını eylemden önce tespit eden bir yöntem geliştirdi.
Kurumsal iş akışlarında kullanılan yapay zeka ajanları, araç çağırma kararlarında hata yapabiliyor: gerekli bir aracı atlayabiliyor, gereksiz yere araç çağırabiliyor veya sonuçları ancak eylem gerçekleştikten sonra ortaya çıkabiliyor. Mevcut gözlemleme yöntemleri (prompt analizi, çıktı değerlendirmesi, loglar) genellikle eylem sonrası çalışıyor ve uzun soluklu görevlerde erken bir hata tüm sonraki adımları olumsuz etkileyerek maliyeti ve güvenlik riskini artırabiliyor.
Bu çalışma, modelin eylemden önceki iç durumunu okuyan mekanistik yorumlanabilirlik tabanlı bir araç seti sunuyor. Seyrek otokodlayıcılar (SAE) model aktivasyonlarını yorumlanabilir seyrek özelliklere ayrıştırırken, hafif doğrusal problar bu özelliklerden sinyal okuyarak bir aracın gerekip gerekmediğini ve sıradaki eylemin ne kadar riskli olduğunu tahmin ediyor. Araştırmacılar, araç kullanım kararlarıyla en çok ilişkili katman ve özellikleri belirleyip özellik çıkarma (ablation) testleriyle bunların işlevsel önemini doğruladı. Yöntem, NVIDIA Nemotron fonksiyon çağırma veri setinden alınan çok adımlı ajan izleri üzerinde eğitildi ve GPT-OSS 20B ile Gemma 3 27B modellerine uygulandı.
Çalışmanın amacı dış değerlendirmenin yerini almak değil, eksik olan bir katmanı eklemek: modelin eylemden önce içsel olarak neyi sinyallediğine dair görünürlük. Bu yaklaşım, özellikle erken hataların sonraki davranışları etkilediği uzun soluklu ajan çalışmalarında hata kaynaklarını daha derinden anlamaya yardımcı oluyor ve mekanistik yorumlanabilirliğin ajan sistemlerinde araç çağrısı ve risk izlemek için nasıl kullanılabileceğini gösteriyor.