DeepSeek'ten GPT-OSS'e Damıtma Sansürü Değil, Sadece Beceriyi Aktarıyor
LineageEval testine göre, DeepSeek'ten GPT-OSS-120B'ye damıtma finansal akıl yürütmeyi artırırken öğretmenin siyasi sansürünü öğrenciye aktarmıyor.
Yeni bir araştırma, sansürlü bir Çin modelinden (DeepSeek V4 Flash) Amerikan GPT-OSS-120B modeline finansal akıl yürütme becerisi damıtıldığında, öğretmenin siyasi sansürünün öğrenciye geçip geçmediğini test etti. Ekip bunun için LineageEval adlı bir değerlendirme seti yayınladı: 152 eşleştirilmiş prompt çifti (siyasi ve finansla ilişkili), dört farklı laboratuvardan bağımsız yargıçlarla puanlandı.
DeepSeek V4 Flash, Çin'e hassas sorularda eşleştirilmiş kontrol sorularına kıyasla 45,45 puanlık bir sansür farkı gösterdi; Büyük İleri Atılım, Tiananmen ve Xinjiang çalışma kampları gibi konularda cevapları yumuşattı veya reddetti. Bu çıktılarla eğitilen GPT-OSS-120B ise istatistiksel olarak anlamlı bir sansür farkı göstermedi (yaklaşık +3,7, temel modelin kendi +3,94 değerine yakın) ve aynı hassas konuları açıkça ele aldı.
Beceri kazanımı da gerçekti: damıtılmış model, 8.000 token bütçesinde FinanceReasoning testinde %83,61 skorla Kimi K3'ü (%81,93) ve Inkling'i (%65,13) geride bıraktı; bunu Inkling'den 62 kat, Kimi K3'ten ise 160 kat daha düşük sorgu maliyetiyle yaptı. Çin öğretmen modeli kullanmadan, kendi düzeltilmiş çıktılarıyla eğitilen öz-damıtma versiyonu da aynı skorlara ulaştı.
Mühendisler için sonuç açık: alan bazlı beceri damıtımı ile siyasi/ideolojik değer aktarımı birbirinden ayrılabiliyor. Değer aktarımı otomatik değil ve öz-damıtma, dış öğretmen kullanmaya denk performans sunabiliyor. Modeller, veriler ve değerlendirme kodu açık olarak paylaşıldı.