Human-in-the-loop gerçek bir yönetişim stratejisi değildir
Ajan tabanlı sistemlerde onay modalları çoğu zaman gerçek denetim değil, kağıt üstünde sorumluluk devridir. Gerçek insan-döngüde tasarımın üç bileşeni.
Ajan (agent) tabanlı sistemlerde yaygın 'human-in-the-loop' uygulaması, bir insanın onay/red modalına tıklamasından ibarettir. Ancak insanın karar üzerinde gerçek bir etkisi yoksa bu, denetim değil; sorumluluğu sistemden insana kaydıran bir kağıt üstü formaliteye dönüşür. Sık tekrarlanan onaylar insanı reflekssel tıklamaya iter ve gerçekten önemli olan istisna geldiğinde de fark edilmeden geçer.
Makale, doğru sorunun 'insan döngüde mi' değil, 'insan sonucu gerçekten değiştirebilecek konumda mı' olduğunu savunuyor. Bu çerçevede üç tasarım ilkesi öneriliyor: insana ham veri (SQL sorgusu, e-posta içeriği) yerine kararın özünü (niyet, risk, güven skoru, geri alma yolu) göstermek; her yazma işleminde değil, geri alınamazlık, etki alanı büyüklüğü ve ajanın kendi güven düzeyine göre müdahale tetiklemek; ve reddetme seçeneğinin gerçek bir sonraki adımı (yedek plan, yeniden planlama, eskalasyon) olmasını sağlamak. Ayrıca bazı eylemlerin (örneğin binlerce kişiye toplu e-posta) insana hiç gitmeden mimari seviyede engellenmesi (BLOCK) gerektiği vurgulanıyor.
Sonuç sezgiye aykırı: iyi tasarlanmış bir insan-döngü sistemi, insanı daha az değil, daha seyrek ama anlamlı noktalarda durdurur. Çünkü insan dikkati sınırlı bir kaynaktır; gereksiz her onay bu kaynağı tüketir ve gerçekten kritik olan anı değersizleştirir. Mühendisler için pratik çıkarım, onay akışlarını sıklık değil isabet üzerinden tasarlamaktır.