Denetim: Dağılımsal RL Ajanlarının Risk İddiaları Büyük Ölçüde Yanlış
Yeni bir denetim çerçevesi, QR-DQN ve C51 gibi dağılımsal RL ajanlarının risk iddialarının çoğunun gerçek değil, eğitim yapısına bağlı bir yanılgı olduğunu ortaya koyuyor.
QR-DQN, C51 ve IQN gibi dağılımsal güçlendirmeli öğrenme (RL) ajanları, yorumlanabilirlik, risk-duyarlı kontrol ve güvenlik izleme için kullanılan tam dönüş dağılımları öğrenir. Yeni bir çalışma, bu ajanların çıkardığı risk iddialarının gerçekten doğru olup olmadığını doğrudan ölçüyor.
Araştırmacılar; en iyi iki eylem arasındaki aşırı Wasserstein farkını (stokastik üstünlük ihlalini ölçen bir metrik), anlık-yeniden-başlatma Monte Carlo ile elde edilen gerçek zemin verisini ve permütasyon testleri, bootstrap doğrulaması ile FDR kontrolünden oluşan istatistiksel bir denetim çerçevesini birleştirdi. MinAtar üzerinde 33 çalışmada, en güçlü risk-getiri iddialarının %40-95'i %95 güven aralığında çürütüldü; en iddialı sonuçların konumu gerçeklikten ayırt edilemez düzeyde rastgeleydi ve pratikte hiçbir iddia doğrulanabilir değildi. Bu 'risk' sinyalinin çevresel belirsizlikten değil, eğitim sürecinin bir yapısal yan etkisinden kaynaklandığı görüldü; etki eğitimin erken evrelerinde oluşuyor, nihai skorla ilişkisiz kalıyor ve her tohum değerine özgü şekilleniyor. Tam ölçekli Atari'de önceden eğitilmiş, son teknoloji seviyesine yakın bir QR-DQN'in Breakout üzerindeki tüm üst düzey iddiaları da çürütüldü.
Bilinen büyüklükte pozitif kontroller, gerçek iddiaların %96-100'ünü doğrulayarak denetim yönteminin kendisinin güvenilir olduğunu gösterdi. Ancak baş modüllerin CVaR tavsiyesine göre hareket etmek, rastgeleden daha kötü sonuçlara kadar geniş bir aralıkta değişkenlik gösterdi. Risk-odaklı eğitim veya topluluk (ensemble) yöntemleri bu yapısal sorunu ortadan kaldırmadı; yeniden kalibrasyon ise denetimi yalnızca iddiaları geçersizleştirerek geçebildi — bu da başın yanlış kalibre değil, tamamen bilgisiz olduğunu gösteriyor.