Yapay Zekanın Sessiz İhmallerini Yakalayan Yeni Doğrulama Katmanı

Yapay zeka modellerinin kaynakları çarpıtmasını yakalamak için geliştirilen bir bellek doğrulama sistemi temel bir sınırla karşılaştı: yanlış iddiaları işaretleyebiliyordu ama modelin öne sürmesi gereken bir iddiayı sessizce atlamasını göremiyordu. İhmal hiçbir iz bırakmadığı için, temiz bir uyumluluktan ayırt edilemiyordu.

Toplulukla yürütülen bir tartışma bu boşluğu kapatan bir çözüm doğurdu: önerici sistemin, iddia üretmeden önce hangi yüzeyleri incelediğini önceden açıkça beyan etmesini zorunlu kılan bir 'incelenen kümeler' kapısı. Bu yaklaşım sessizliği iki denetlenebilir duruma ayırıyor — beyan edilmiş bir olumsuzluk ('baktım, sorun yok') ile gerçek bir boşluk (beyan edilen kümede hiç yer almayan bir yüzey). Sistem artık altı farklı alarm kodu çalıştırıyor; bunlardan biri, önericinin kendi değerlendirme kriterlerini kendisinin yazıp fiilen kendi ödevini kendisinin notlandırdığı durumları hedefliyor.

Çekişmeli test senaryoları, kapının sahte yüzeylerle doldurma ve kendi kendine yazılmış değerlendirme ölçütleri gibi saldırılara dayanıklı olduğunu gösterdi. Ancak sahte beyanların tamamen önlenmesi mümkün değil; ayrıca gerekli yüzeylerin listesi hâlâ sabit test senaryolarından geliyor, üretim ortamında ham olaylardan otomatik türetilmesi çözülmemiş bir adım olarak duruyor.

LLM çıktıları üzerine denetim veya uyumluluk katmanı inşa eden mühendisler için burada somut bir mimari örüntü var: sistemin ne söylediğini değil, ne kontrol ettiğini açıkça beyan edip etmediğini denetleyin ve bu ikisi arasındaki farkı ayrı, daha ciddi bir hata türü olarak ele alın.