Moonshot AI, Kimi K3'ü Duyurdu: 2,8 Trilyon Parametreli Açık MoE Model

Moonshot AI, kendi ifadesiyle dünyanın ilk açık kaynaklı 3 trilyon parametre sınıfı modeli olan Kimi K3'ü yayınladı. Model 2,8 trilyon parametreye, yerel görsel işleme yeteneğine ve 1 milyon token'lık bağlam penceresine sahip.

Mimari tarafında üç yenilik dikkat çekiyor: Kimi Delta Attention adlı hibrit doğrusal dikkat mekanizması, geleneksel prefix cache yapısını kırdığı için vLLM'e doğrudan entegre edilmiş ve milyon token seviyesindeki bağlamlarda çözümlemeyi 6,3 kata kadar hızlandırıyor. Attention Residuals ise derinlik eksenindeki temsilleri seçici biçimde geri çağırarak eğitim verimliliğini yaklaşık %25 artırırken maliyeti %2'nin altında tutuyor. 16/896 seyreklik oranıyla çalışan Stable LatentMoE bileşeni, Quantile Balancing yöntemiyle uzman yönlendirmesini router skorlarının kuantillerinden türeterek K2'ye kıyasla yaklaşık 2,5 kat ölçekleme verimliliği sağlıyor.

Benchmark sonuçlarında Kimi K3, maksimum akıl yürütme modunda BrowseComp'ta 91,2, Terminal Bench 2.1'de 88,3 ve Program Bench'te 77,8 puan aldı; 35 yayınlanmış satırın 6'sında Fable 5 ve GPT 5.6 Sol'u geride bıraktı. Ancak FrontierSWE (81,2'ye karşı 86,6) ve HLE-Full (43,5'e karşı 53,3) testlerinde Fable 5'in gerisinde kaldı. Mühendisler için önemi, hem uzun bağlamlı çıkarım performansı hem de MoE yönlendirme ve dikkat mekanizmalarındaki mimari çözümlerin açık kaynak olarak paylaşılması.