On Yılda Görsel-Dil Modelleri: Kolay Testlerde Yanılan İlerleme Gerçeği
On yıllık vision-language modelleri karşılaştırması: kolay MS-COCO verisinde 'insan seviyesi' iddiaları, karmaşık sosyal sahnelerde nasıl çöküyor?
Yeni bir araştırma, görüntü altyazılama modellerinin 'insan seviyesine ulaştığı' iddialarının büyük ölçüde MS-COCO gibi kolay ve temiz veri setlerine dayandığını gösteriyor. Araştırmacılar, film sahnelerinden oluşan ve çok kişili sosyal etkileşim gerektiren yeni bir Karmaşık Sosyal Davranış (CSB) veri seti oluşturarak 2017-2025 arası dokuz modeli test etti.
Sonuçlar çarpıcı: eski nesil CNN+LSTM tabanlı modeller MS-COCO'da insana yakın performans gösterirken CSB'de ciddi şekilde geride kalıyor. Buna karşılık GPT-4, Gemini ve GPT-5.1 gibi modern çok-modlu büyük dil modelleri (MLLM) her iki veri setinde de en iyi insan açıklamalarıyla istatistiksel olarak ayırt edilemez seviyede performans gösteriyor. Beş hatalı davranış kategorisinden (nesne tespiti, tanıma, halüsinasyon, sahne anlama, mekansal bağımlılık) dördü MLLM'lerde neredeyse sıfırlanmış durumda.
Geriye kalan tek sistematik hata, modelin açıklamayı oluştururken insanlardan farklı görüntü bölgelerine odaklanması olan 'mekansal bağımlılık' hatası. İlginç şekilde bu hata, genel anlamsal benzerlik skorunu en az etkileyen hata türü; nesne tespiti ve halüsinasyon hataları çok daha yıkıcı. Mühendisler için bu bulgu, değerlendirme verisi seçiminin model yeteneklerini nasıl abartabileceğini ve gerçek dünya uygulamalarında hangi hata türlerine odaklanılması gerektiğini gösteriyor.