Farklı tokenizer'lı öğretmenden distilasyon: bilginin %85'i haritalamada kayboluyor
Farklı tokenizer'lı model damıtmasında top-K logit projeksiyonu bilginin %85'ini yok edebilir; zincir kuralı tabanlı düzeltme korunumu %86'ya çıkarıyor.
Bir mühendis, büyük sözlüklü bir öğretmen modelden (Qwen2.5-Coder, 151K token) küçük sözlüklü bir öğrenci modele (BPE 1-4K) bilgi damıtırken kritik bir sorun tespit etti. Standart yöntem, öğretmenin top-K logit'lerini segment sınırlarında öğrencinin ilk tokenına projekte etmek. Ancak bu eşleme çoktan-bire olduğu için (örneğin 'the', 'then', 'they' aynı ilk tokena düşüyor), öğretmenin belirsizliği büyük ölçüde toplanıp yok oluyor: entropi 2.09 bitten 0.32 bite düşüyor, bilginin sadece yaklaşık %15'i korunuyor. Sözlük boyutunu 4096'ya çıkarmak durumu iyileştirmek yerine korunumu %13'e düşürüyor.
Bu bozulmuş hedefle yapılan ön testte, bilgi damıtma (KD) standart çapraz entropi temel çizgisinden daha kötü sonuç verdi (2.729'a karşı 2.081). İncelenmeden bırakılsaydı bu durum, 'bu kurulum için distilasyon işe yaramıyor' gibi yanlış bir sonuca götürebilirdi.
Çözüm, zincir kuralına dayanıyor: öğretmenin belirsizliği token dizisi boyunca çarpanlarına ayrılabiliyor ve 'the/then/they' arasındaki ayrım aslında ilk tokende değil, sonraki tokenlerde çözülüyor. Saklanan top-K satırlarını segment içinde zaten üretilmiş bayt'lara göre koşullandırmak, korunumu %83-86'ya çıkarıyor — ek hesaplama veya depolama maliyeti olmadan. Bu, farklı tokenizer'lar arasında distilasyon yapan herkes için pratik ve düşük maliyetli bir düzeltme sunuyor.