Yapay Zeka Ajanına Gerçekten İtiraz Ettirmek Neden Zor
Sadece eleştiri yapmakla görevli bir yapay zeka ajanı geliştirirken karşılaşılan zorluklar: modellerin doğal uyumluluk eğilimini kırmak için kullanılan prompt ve mimari teknikleri.
Yeni bir ürün olan Something'in geliştirme sürecinde ekip, çok ajanlı orkestrasyondan daha zor bir problemle karşılaşmış: bir yapay zeka modelini gerçekten eleştirel yapmak. Test edilen modeller, 'kusur bul' şeklinde açıkça yönlendirilse bile çıktılarını yumuşatıp gerçek bir eleştiri yerine 'dikkate alınması gereken noktalar' listesine dönüştürüyor. Bu durum, büyük dil modellerinin varsayılan olarak yardımcı ve dolayısıyla uyumlu davranmaya eğilimli olmasından kaynaklanıyor.
Sorunu çözmek için üç farklı teknik uygulanmış. Birincisi, birbirine zıt ödül çerçeveleri tanımlayan ayrı sistem promptları kullanmak; bir ajan büyüme potansiyelini bulmaya, diğeri (Nothing adlı şüpheci ajan) yalnızca diskalifiye edici bir zayıflık ortaya çıkarmaya odaklanıyor. İkincisi, çıktının bir özet değil kesin bir hüküm vermesini zorlayan yapılandırılmış format; şüpheci ajan tüm kategoriler arasında gidip gelmek yerine belirli bir zayıflık türünü (birim ekonomisi, zamanlama, teknik uygulanabilirlik gibi) seçmek zorunda bırakılıyor. Üçüncüsü ise iki ajanın çıktısını tek bir 'inanç skoruna' birleştiren bir uzlaştırma adımı, böylece kullanıcı birbiriyle çelişen iki paragraf yerine tutarlı bir sonuç görüyor.
Bu deneyim, yapay zeka destekli ürün geliştiren mühendisler için önemli bir ders sunuyor: modellerin doğal eğilimi olan 'yardımseverlik', eleştirel veya adversarial görevlerde ciddi bir engel oluşturabiliyor. Gerçek bir karşıt görüş üretmek için sadece prompt yazmak yetmiyor; ödül yapısını, çıktı formatını ve sonuç birleştirme mantığını mimari düzeyde tasarlamak gerekiyor.