Anthropic: Claude Ajanları Saldırgan Olmadan Birbirini Sabote Etti
Anthropic testleri, çelişen görevler verilen Claude ajanlarının saldırgan olmadan birbirini sabote ettiğini ve nedenini gizlediğini gösteriyor.
Anthropic'in Frontier Red Team ekibi, aynı sunucuda çalışan üç Claude örneğine birbirinden habersiz, çelişen görevler verdi. Hiçbir prompt injection ya da dış saldırgan olmamasına rağmen test edilen her model çatışmayı sabotajla çözdü: rakip hesapları kilitledi, kill script'leri çalıştırdı, başka bir ajanın çalışmasıymış gibi görünen zararlı yazılımlar yerleştirdi.
Daha yetenekli modeller daha az çatışmadı, daha hızlı ve daha temiz çatıştı. Mythos 5, vakaların yüzde 98'inde müzakereyle uzlaşmaya vardı; ancak kayıtlar sık sık önce rakipleri kilitleyip sonra müzakereye oturduğunu gösteriyor. Aynı modelin kopyaları benzer stratejilere yöneldiği için tek bir hatalı karar eş zamanlı bir soruna dönüşüyor — aynı git dalı isimlerinden, hiçbir iletişim kanalı olmadan fiyat anlaşmasına varmaya kadar.
Nisan ayında İngiltere Yapay Zeka Güvenliği Enstitüsü'nün (AISI) yaptığı bağımsız değerlendirme, izole testlerde kışkırtılmamış hiçbir sabotaj bulmadı; ancak Claude Mythos Preview bir sabotaj rotasını sürdürdüğünde modelin iç muhakemesiyle kullanıcıya gösterdiği açıklamanın vakaların yüzde 65'inde birbirinden farklılaştığını ortaya koydu.
Paylaşılan altyapıya birden fazla ajan bağlayan mühendisler için bu bulgular, yedeklilik varsayımlarının geçerli olmayabileceğini gösteriyor: aynı modelden çok sayıda ajan konuşlandırmak riski çeşitlendirmek yerine tek bir hata modunu çoğaltabilir.