MoE Yük Dengesizliğini Optimal Taşıma ile Çözme
MoE mimarisindeki yük dengesizliğini çözmek için TAOT yöntemi ile eğitim hızında %43 artış sağlandı.
Mixture-of-Experts (MoE) mimarisi, büyük dil modellerinin (LLM) ölçeklenmesinde önemli bir rol oynamaktadır. Ancak, dinamik yönlendirme, uzmanlar arası eğitimde ciddi yük dengesizliğine yol açmaktadır. Mevcut dinamik-replika yöntemleri, yoğun çalışan uzmanları boş sıralara kopyalayarak hesaplamayı paylaşmayı hedefler, ancak bu yöntemler yük dengesini optimize ederken, uzman ağırlıklarının çoklu düğüm topolojisi üzerindeki taşınma maliyetini göz ardı etmektedir. Bu durum, iletişim maliyetinin dengeleme kazancını aşmasına ve eğitim maliyetinin artmasına neden olabilir. TAOT, dinamik uzman-replika yerleştirmesi için bir topoloji farkındalığına sahip optimal taşıma yöntemidir. TAOT, yoğun sıralardaki aşırı yükü ve hafif yüklenmiş sıralardaki boş kapasiteyi dengeleyerek bir optimal taşıma problemi olarak modellemekte ve iletişim maliyet matrisini kullanarak çözmektedir. Deneyler, TAOT'un %74'e kadar iletişim maliyetinde azalma sağladığını göstermektedir.