FTPO ile Akıl Yürütme Modellerinde Sonsuz Döngü Sorunu Çözülüyor

Küçük akıl yürütme modelleri, özellikle zor matematik ve kodlama görevlerinde 'doom loop' adı verilen bir hataya düşebiliyor: model belirli bir ifadeyi (örneğin 'Wait, let me reconsider') tekrar tekrar üretip bağlam penceresini tüketiyor. Bu makale, sorunun kökeninde üç mekanizma olduğunu gösteriyor: aşırı eğitilmiş yüksek olasılıklı tokenlar (Wait, So, Alternatively gibi), önceki bağlamın döngüyü pekiştirmesi ve düşük sıcaklıkta yapılan greedy örnekleme. Yaygın çözüm olan repetition_penalty geçici bir yama iken, pekiştirmeli öğrenme yaklaşımları maliyetli ve hassas kalibrasyon gerektiriyor.

Sunulan Antidoom yöntemi, Antislop temelli Final Token Preference Optimization (FTPO) algoritmasını kullanarak çok daha cerrahi bir müdahale sunuyor: döngüyü başlatan token tam olarak tespit ediliyor, model bu tek konumda tutarlı alternatifleri tercih etmeye eğitiliyor, geri kalan dağılım büyük ölçüde dokunulmadan bırakılıyor. FTPO, DPO'dan farklı olarak yalnızca üretimin ortasındaki son tokenı eğitiyor, birden fazla tercih edilen token kullanıyor ve logit uzayında KL benzeri bir kayıp fonksiyonuyla düzenleme uyguluyor.

LFM2.5-2.6B'nin erken bir kontrol noktasında döngü oranı %10,2'den %1,4'e, Qwen3.5-4B'de ise %22,9'dan %1'e düştü; her iki modelde de değerlendirme skorları belirgin biçimde iyileşti. Eğitim, LoRA (rank 128-256) ile tek epoch sürüyor ve chosen_win=0,35 eşiğinde erken durdurma uygulanıyor; daha uzun eğitim modelde yeni bozulmalara yol açabiliyor.

Mühendisler için önemi, mevcut yeteneği artırmadan modelin zaten üretebildiği doğru cevaplara ulaşmasını engelleyen bir arıza modunu düşük maliyetle ve hedefli biçimde ortadan kaldırabilmesi. Bu, pahalı RL döngüleri veya genel amaçlı ceza mekanizmaları yerine, hatanın kaynağına yönelik minimal müdahale stratejisinin pratikte işe yaradığını gösteriyor.