SynthDocBench: Uzun Bağlamlı Görsel Belge Anlamada VLM Zaafları
SynthDocBench, uzun bağlamlı belgelerde VLM'lerin konumsal önyargı, uzunlukla performans kaybı ve grafik anlama zaaflarını ortaya koyan yeni bir benchmark.
SynthDocBench, DocVQA ve ChartQA gibi mevcut benchmarklardan farklı olarak belge uzunluğu, düzen karmaşıklığı ve modalite bileşimi gibi değişkenleri birbirinden bağımsız olarak kontrol eden tamamen sentetik bir benchmark. LLM tabanlı bir üretim hattıyla altı farklı düzen arketipinde belgeler oluşturuluyor; modellerin yüzeysel örüntülere güvenmesini engellemek için üretim sırasında yüzde 40 rastgele geçersiz kılma uygulanıyor. Bu kontrollü tasarım, VLM başarısızlıklarının kesin nedenini izole etmeyi mümkün kılıyor.
Yedi öncü VLM üzerinde yapılan değerlendirme, belge uzunluğu arttıkça performansın keskin biçimde düştüğünü, altı modelden beşinde belgenin orta üçte birlik kısmının en zorlayıcı bölge olduğunu ve baştan sona doğru negatif bir performans eğilimi (en dik düşüş yüzde 8,3 puan) bulunduğunu ortaya koydu. Ayrıca uzun belgeler içine gömülü grafiklerin yorumlanmasında ciddi bir bozulma tespit edildi.
Bu bulgular, mevcut benchmarklardaki yüksek skorların genellikle benchmark'a özgü yapay örüntülere aşırı uyum sağlamaktan kaynaklanabileceğini, gerçek dünyadaki uzun ve karmaşık belgeler karşısında sağlam bir anlama yeteneğinin henüz mevcut olmadığını gösteriyor. Uzun raporlar, hukuki belgeler veya teknik kılavuzlarla çalışan geliştiriciler için bu, dikkat mekanizmalarının ve grafik anlama modüllerinin uzun bağlam koşullarına karşı daha dayanıklı hale getirilmesi gerektiği anlamına geliyor.