LingBot-World 2.0: Ant Group'un açık nedensel dünya modeli
Ant Group, 14B parametreli LingBot-World-Infinity ile MoBA dikkat mekanizması ve ajan yapısıyla 60 dakika kesintisiz dünya simülasyonu sunuyor.
Ant Group'un Robbyant ekibi, Wan2.2 üzerine inşa edilmiş 14 milyar parametreli açık kaynaklı bir nedensel video dünya modeli olan LingBot-World-Infinity'yi (LingBot-World 2.0) yayınladı. Model, Mixture of Bidirectional and Autoregressive (MoBA) adı verilen bir dikkat maskesiyle eğitildi ve ardından birkaç adımda gerçek zamanlı üretim yapabilen bir sürüme damıtıldı; bunu yaparken sonradan uygulanan hiçbir kayma (drift) düzeltme filtresi kullanılmadı.
Ekip, saf öğretmen zorlamasının (teacher forcing) bağlam büyüdükçe modelin gerçek kare tahmini yerine bağlama yaslanmasına yol açtığını, MoBA'nın ise buna karşı bir düzenleyici olarak çift yönlü tam dikkat bloğu eklediğini vurguluyor. Sızıntısız çapraz dikkat tasarımında otoregresif satırlar alt üçgensel biçimde arka plan ve önceki parça komutlarına bakarken, çift yönlü satırlar tek bir küresel komutu görüyor. Ayrıca DMD damıtımı, öğretmen tarafından zorlanan durumlar yerine modelin kendi hatalarının ürettiği uzun kendinden-rollout (self-rollout) yörüngeleri üzerinde çalıştırılıyor.
Sistemin ajan katmanı 'Director-Pilot' olarak adlandırılıyor: bir görsel-dil modeli (VLM) olay kartları öneriyor, DiT tabanlı üretici ise fiziksel dinamikleri render ediyor. Mode B seçeneğinde nesne merkezli etkileşim için bir SAM izleme döngüsü de ekleniyor. Ekip, kesintisiz 60 dakikalık tek bir oturumda 20 farklı senaryo boyunca gözle görülür bir bozulma olmadığını gösterdi.
Mühendisler açısından önemi, dünya modellerinin en kronik sorunlarından biri olan uzun vadeli doku ve geometri bozulmasına, ek düzeltme katmanı yerine mimari düzeyde çözüm getirmesi. Ağırlıkların, kodun ve makalenin açık olması, model harness'ının robotik simülasyonu, ajan tabanlı planlama ve etkileşimli dünya modelleme araştırmalarında doğrudan denenebilmesini sağlıyor.