Ant Group'un LingBot-Vision'ı: Sınır Odaklı 1B Parametreli Görü Modeli

Ant Group'un Robbyant birimi, sınırları bir çıktı değil eğitim sinyali olarak kullanan LingBot-Vision adlı 1.1 milyar parametreli ViT-g/16 modelini açık kaynak yaptı. Model tamamen kendi kendine denetimli şekilde eğitiliyor; hiçbir etiket, dış kenar dedektörü ya da önceden eğitilmiş bir omurga kullanılmıyor. Öğretmen ağın keşfettiği sınır tokenları, öğrencinin maskeli tahmin kümesine zorla dahil edilerek en az yedekli bölgeler en zor hedeflere dönüştürülüyor.

Sınır alanları, kanal başına 32 kutulu kategorik dağılımlar olarak modelleniyor; bu sayede regresyon çöküşü önleniyor ve DINO tarzı merkezleme-keskinleştirme uygulanabiliyor. Kutular üzerindeki tekdüze dağılım aynı zamanda a-contrario sıfır hipotezi görevi görüyor, böylece her segment bir NFA testiyle doğrulanıyor ve desteklenmeyen yapılar öğretim sinyaline dönüşmüyor.

Sonuçlar dikkat çekici: NYUv2 doğrusal problamada model, 7 milyar parametreli DINOv3'ü yaklaşık 7 kat daha az parametre ve on kat daha küçük bir veri kümesiyle geçiyor. Damıtılmış 0.3 milyar parametrelik öğrenci model bile DINOv3 ile aynı performansı yakalıyor. Encoder'ın LingBot-Depth 2.0'a entegre edilmesi, 14 derinlik tamamlama benchmarkında en iyi sonuçları getiriyor ve veri arttıkça avantaj büyüyor.

Mühendisler için önemi açık: sınır bilgisini eğitim sürecine gömmek, çok daha az kaynakla yoğun mekansal algı için güçlü, verimli ve doğrulanabilir temel modeller üretmenin mümkün olduğunu gösteriyor.