Fable 5 vs GPT-5.6 Sol: NP-Zor Problemde /goal İşe Yarıyor mu?
Claude Fable 5 ve GPT-5.6 Sol, NP-zor bir fiber ağ optimizasyon probleminde /goal özelliğiyle test edildi; sonuçlar beklenmedik çıktı.
Yayımlanmamış bir NP-zor optimizasyon problemi olan KIRO (fiber ağ tasarımı) üzerinde Claude Fable 5 ile GPT-5.6 Sol, hem normal modda hem de her iki aracın kendi /goal (hedef kalıcılığı) özelliğiyle test edildi. Fable 5 hem en iyi tek sonucu üretti hem de çalıştırmalar arasında çarpıcı bir tutarlılık gösterdi; insan gözüyle bakıldığında ham zeka farkı net biçimde ortaya çıktı.
/goal özelliği ise beklenmedik bir sonuç verdi: altı denemenin dördünde normal moddan daha iyi skor üretmesine rağmen, ortalama performansı her iki modelde de kötüleştirdi. Sebep, özelliğin bazen küçük iyileşmeler sağlarken bazen kötü bir çözücü fikrine gereksiz yere daha fazla zaman tanıyarak büyük gerilemelere yol açması.
Araştırma, Claude Code ve Codex'teki /goal uygulamalarının mimari olarak tamamen farklı olduğunu da ortaya koyuyor: Claude, transkripti okuyan ayrı bir değerlendirici modele (varsayılan Haiku) güveniyor ama dosyalara veya araçlara erişemiyor; Codex ise hedefi kalıcı durum olarak saklıyor ve çalışan modele kendi tamamlanma kararını verme yetkisi tanıyor. Mühendisler için çıkarım şu: zor optimizasyon görevlerinde döngünün 'ısrar etmesi' değil, ısrar ettiği şeyin kalitesi belirleyici.