Multimodal Modellerin Asıl Sorunu: Anlama Değil, Örnekleme
Multimodal modellerde darboğaz kapasite değil; kare hızı, ses chunk'lama, görüntü kırpma gibi varsayılan örnekleme kararları production'ı belirliyor.
Production ortamındaki multimodal sistemlerin gerçek zayıf noktası genellikle modelin kendisi değil, video, ses ve görüntüyü token'a dönüştüren örnekleme katmanıdır. Kare hızı, ses parçalama uzunluğu, çözünürlük ve kırpma gibi kararlar çoğunlukla framework varsayılanlarına bırakılır ve bu ayarlar modelin ne kadar güçlü olursa olsun neyi 'görebileceğini' baştan belirler. Demolar genelde kısa klip, tek tile'a sığan görsel veya temiz tek cümlelik ses dosyalarıyla çalıştığı için bu sorun görünmez kalır.
Video tarafında uniform frame örnekleme, olayların çoğunun örneklenmeyen saniyeler arasında gerçekleştiği durumlarda kritik anları tamamen kaçırır; model olayı 'anlamıyor' değil, o kareyi hiç görmüyor. Ses tarafında sabit süreli chunk'lama cümle sınırlarını rastgele böler, bu da transkripsiyon, konuşmacı ayrımı ve duygu analizinde sessizce birikip benchmark tablolarında görünmeyen hatalara yol açar. Görüntülerde ise encoder'ın native çözünürlüğü aşan her şey kırpılır veya downsample edilir; model kırpılan bölge hakkında soru sorulduğunda 'göremedim' demek yerine akıcı ama yanlış bir cevap üretir.
Yazı, örneklemenin bir altyapı detayı değil mimari bir karar olarak ele alınması gerektiğini savunuyor: hareket bazlı kare seçimi, sessizlik tetiklemeli chunk'lama ve kırpma oranlarının izlenmesi gibi somut adımlar öneriliyor. Ayrıca değerlendirme setlerinin kısa ve temiz örnekler yerine uzun videolar, örtüşmeli konuşmalar ve yoğun metin içeren belgeler gibi gerçek üretim senaryolarını kapsaması gerektiği vurgulanıyor. Mühendisler için sonuç net: model genelde yeterince iyi, asıl sorun modele ulaşan sinyalin kalitesi.