PixelRAG: RAG'de HTML yerine ekran görüntüsü ile arama
PixelRAG, web sayfalarını metne çevirmeden doğrudan piksel uzayında işleyen yeni bir RAG yöntemi. 30 milyon görüntülük Wikipedia veri seti ile metin tabanlı sistemleri geride bırakıyor.
PixelRAG, retrieval-augmented generation (RAG) sistemlerinde yaygın olan HTML ayrıştırma ve metne dönüştürme adımını tamamen ortadan kaldıran yeni bir yaklaşım sunuyor. Web sayfalarını doğal görsel formunda, yani ekran görüntüsü olarak temsil eden sistem, hem arama hem de okuma işlemlerini piksel uzayında gerçekleştiriyor. Bu sayede sayfa düzeni, görsel yapı ve biçimlendirme gibi metin ayrıştırmada kaybolan bilgiler korunmuş oluyor.
Çalışma, tam bir Wikipedia korpusunu bu şekilde işleyen ilk sistem olma iddiasında ve 30 milyon ekran görüntüsünden oluşan bir veri deposunu verimli bir görsel arama indeksiyle yönetebiliyor. Qwen3-VL-Embedding üzerine inşa edilen model, kontrastif eğitim verileriyle ekran görüntüsü verisine özel olarak ince ayarlanmış. Bulunan görüntüler, herhangi bir ara metin dönüşümü yapılmadan doğrudan bir görsel-dil modeline (VLM) piksel girdisi olarak veriliyor.
Sonuçlar, PixelRAG'ın hem retrieval yapılmayan hem de metin tabanlı RAG temellerine kıyasla tutarlı biçimde daha iyi performans gösterdiğini ortaya koyuyor; bu üstünlük NQ ve SimpleQA gibi metin ağırlıklı görevlerde bile gözlemleniyor. Çok modlu açık alan soru-cevap, gürültülü haber korpusları ve ajan tabanlı görevlerde metin tabanlı yöntemlere göre doğrulukta yüzde 18,1'e varan artış sağlanmış. Ayrıca görüntü sıkıştırma sayesinde, doğruluktan ödün vermeden düşük çözünürlüklerde token maliyetinde 3 kata kadar azalma mümkün oluyor. Bu bulgular, web tabanlı RAG sistemlerinde metin temsiline duyulan ihtiyacı sorgulatıyor ve mühendislere retrieval pipeline'larını yeniden düşünmeleri için somut bir alternatif sunuyor.