Araştırma: LLM Ajanlarında Adım Bazlı Kredi Sinyalleri Rastgeleden Farksız

Yeni bir çalışma, LLM ajanlarını eğitmek için kullanılan adım bazlı kredi atama sinyallerini —LLM-hakem puanları, sonuca koşullu logprob oranları ve modelin kendi güven skoru— ALFWorld araç kullanım ortamında yeniden örnekleme ve replay yoluyla elde edilen gerçek nedensel zemine karşı test etti. Sonuç çarpıcı: hiçbir sinyal, hangi adımların sonucu gerçekten etkilediğini rastgele tahminden daha iyi belirleyemiyor.

Araştırmanın ayırt edici noktası, önceki değerlendirmelerin ölçtüğü adım "doğruluğu" ile bu çalışmanın odaklandığı adım "katkısı" arasındaki fark. Katkı, politikanın alternatif kararlarını yeniden örnekleyip ileriye sürerek neyin gerçekten değiştiğine bakılarak ölçülüyor. Nedensel katkı oldukça seyrek çıktı — karar noktalarının yalnızca yaklaşık %30'unda ölçülebilir bir etki var ve bu oran benzer büyüklükteki modeller arasında bile iki kata varan farklar gösteriyor.

Mevcut kredi sinyalleri, gerçek nedensel etkiden çok modelin akıcılığını yansıtıyor; sonuca koşullanma ise neredeyse hiç ek nedensel bilgi katmıyor. Yedi farklı eğitim düzenlemesiyle yapılan takip deneyinde, eğitim dozu (örnek sayısı, optimizasyon adımı) kontrol edildiğinde hiçbir düzenleme eğitilmemiş modeli güvenilir biçimde geçemedi; görünen farklar kredi sinyalinin kalitesinden değil dozdan kaynaklanıyordu.

Ajan tabanlı LLM'ler için pekiştirmeli öğrenme hatları kuran mühendisler için bu bulgular, hakem veya güven skoruna dayalı ödül sinyallerinin hangi kararların önemli olduğunu güvenilir şekilde yakalamayabileceğini gösteriyor. Kredi atama yöntemlerini karşılaştırırken etkin örneklem büyüklüğünün eşitlenmesi gerekiyor; aksi halde ölçülen şey kredi kalitesi değil, sadece eğitim dozu oluyor.