Thinking Machines Lab'dan Inkling: 975B Parametreli Açık MoE, Ayarlanabilir Düşünme

Thinking Machines Lab, Inkling adlı 975 milyar parametreli (41B aktif) açık ağırlıklı multimodal MoE modelini yayınladı. Model, ayrı encoder kullanmadan ses ve görüntüyü doğrudan decoder içinde işliyor: ses dMel spektrogramlarına dönüştürülüyor, görüntüler ise dört katmanlı hMLP ile 40x40 piksel yamalara ayrılıyor ve metinle birlikte aynı ağda işleniyor.

RoPE yerine, konum bilgisini doğrudan attention logit'lerine gömen relative attention mekanizması kullanılıyor; 66 katman ve 1M token bağlam penceresi destekleniyor. MoE mimarisi, 256 yönlendirilen uzmandan seçilen top-6'yı ve her zaman aktif 2 paylaşılan uzmanı sigmoid tabanlı routing ile birleştiriyor, ek yük dengeleme kaybı gerektirmiyor.

En dikkat çekici özellik, pekiştirmeli öğrenme sırasında sistem mesajı ve token maliyeti değiştirilerek öğretilen 'reasoning_effort' parametresi. Model kendi token bütçesini ayarlamayı öğreniyor ve bu özellik transformers kütüphanesinde kontrol edilebilir hale getirildi; böylece Terminal Bench 2.1'de Nemotron 3 Ultra'ya yaklaşık üçte bir token maliyetiyle yaklaşıyor.

Benchmark sonuçlarına göre model, FORTRESS Adversarial'da açık ağırlıklı modeller arasında en yüksek skoru (%78.0) elde ederken SWEBench Verified'da %77.6, Terminal Bench 2.1'de ise %63.8 (GLM 5.2'nin 18.9 puan gerisinde) başarı gösteriyor. Mühendisler için önemi, encoder-free tasarım ve ayarlanabilir reasoning effort'un üretim sistemlerinde maliyet-performans dengesi kurmayı kolaylaştırması.