AI Ajan Runtime Politikası: Tehlikeli Araç Çağrılarını Durdurun
AI ajanlarının tehlikeli araç çağrıları yapmasını önlemek için runtime politika katmanı: risk seviyeleri, yetki devri ve doğrulama kuralları.
Yapay zeka ajanları artık sadece sohbet etmiyor, gerçek sistemlerde araç çağırıyor, veritabanı yazıyor, e-posta gönderiyor ve iş akışları tetikliyor. Sorun şu ki prompt talimatları modelin davranışını yönlendirebilir ama hiçbir şeyi zorunlu kılmaz. Bu yüzden model ile gerçek eylem arasına deterministik bir 'runtime policy' katmanı koymak gerekiyor: her araç çağrısı çalıştırılmadan önce izin verilir, reddedilir, onaya takılır ya da kapsamı daraltılarak değiştirilir.
Bu yaklaşımın merkezinde sunucu tarafında oluşturulan bir 'action envelope' nesnesi var; kiracı, kullanıcı, ajan, araç, işlem tipi, hedef kaynak, otonomi modu, ortam ve tahmini maliyet gibi bilgileri taşıyor. Modelin kendisi güvenlik bağlamına karar vermiyor, uygulama karar veriyor. Bunun üzerine araçlar 0'dan 5'e kadar risk katmanlarına ayrılıyor; salt okunur aramalardan üretimde SQL çalıştırmaya kadar her işlem ayrı ayrı değerlendiriliyor.
Ayrıca kullanıcı izinleri ile ajana verilen yetki devri birbirinden ayrılıyor: bir kullanıcı admin olsa bile, onun adına çalışan ajan daha dar bir yetki kümesiyle sınırlandırılıyor, süre sonu ve iptal mekanizmaları ekleniyor. Son olarak modelin ürettiği argümanlar şema doğrulaması ve iş kurallarıyla kontrol ediliyor, çünkü 'makul görünen' argüman güvenli argüman anlamına gelmiyor. Üretimde ajan çalıştıran mühendisler için bu mimari, olay incelemelerinde açıklanabilir ve test edilebilir bir güvenlik sınırı sunuyor.