Kimi K3: Ölçeklenebilirlik Deneyi Olarak 2.8T Modelden Daha İlginç
Kimi K3'ün ölçeklenebilirlik deneyimi, 2.8T modelden daha ilginç görünüyor. Uzman yönlendirme ve yük dengeleme üzerine düşünceler.
Kimi K3'ün 2.8 trilyon parametre sayısı, ilk bakışta dikkat çekici olsa da, asıl ilginç olan modelin kapasitesini ölçeklendirirken aktif hesaplamayı kontrol altında tutma yöntemidir. K3, her token için 896 uzmandan yalnızca 16'sını etkinleştiriyor, bu da büyük bir kapasite depolarken her ileri geçişte sadece küçük bir kısmının katıldığı anlamına geliyor. Uzun bağlamın ekonomisi de ilginçtir; bu ölçekle birlikte, uzun bağlam bir yetenek problemi değil, bellek ve hizmet problemi haline geliyor.