AWS'nin Priming Yöntemi Transformer'ları Sıfırdan Eğitmeden Hibrit Modele Dönüştürüyor
AWS'nin priming yöntemi, Transformer ağırlıklarını yeniden kullanarak hibrit durum uzayı modellerinin eğitim maliyetini yüzde 99 azaltıyor.
Transformer mimarisindeki dikkat (attention) mekanizması, işlenen her token için büyüyen bir KV önbelleği gerektirir; bu da uzun bağlamlı ajan tabanlı sistemlerde bellek maliyetini katlanarak artırır. Araştırmacılar seyrek dikkat, kayan pencere dikkati ve durum uzayı modelleri (SSM) gibi yöntemleri birleştiren hibrit mimarilerle bu soruna çözüm arasa da, her yeni hibrit yapılandırmayı sıfırdan eğitmek trilyonlarca token ve yüz binlerce GPU saati gerektirdiği için bu alanı araştırmak pratik değildi.
AWS ekibinin yayımladığı yeni bir makale, 'priming' adlı bir yöntem sunuyor: önceden eğitilmiş Transformer ağırlıklarını başlangıç noktası olarak kullanarak hibrit mimarilerin ön eğitim maliyetini yüzde 99'dan fazla azaltıyor. Yöntem, Transformer'ın aslında sabit boyutlu bir durumdan geçen özel bir SSM gerçekleştirimi olduğu gözlemine dayanıyor; bu nedenle sorgu, anahtar ve değer projeksiyonları SSM katmanlarına aktarılabiliyor ve yalnızca SSM'ye özgü parametreler öğrenilmesi gerekiyor.
Deneyler, Gated KalmaNet, Gated DeltaNet ve Mamba-2 gibi farklı SSM türlerini karşılaştırıyor; Gated KalmaNet en iyi performansı gösteriyor ve eğitim sonrası hız-doğruluk dengesi üzerinde doğrudan kontrol sağlıyor. 32 milyar parametreli hibrit model, eşdeğer boyuttaki bir Transformer ile aynı doğruluğa daha kısa sürede ulaşıyor, 128 bin token bağlamda iki kat daha hızlı kod çözüyor ve doğru cevaplara üçte iki sürede varabiliyor. Ekip, 8 ve 32 milyar parametreli primed hibrit modelleri, eğitim kodu, optimize çekirdekler ve bir vLLM servis eklentisiyle birlikte Apache 2.0 lisansı altında açık kaynak olarak yayımladı.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz