Sütunsal Depolamada Yeni Fizik: Parquet, Lance, Vortex ve Nimble
Parquet, Lance, Vortex ve Nimble ile sütunsal dosya formatlarındaki yeni dalga: AI iş yükleri ve donanım değişimi formatları nasıl yeniden şekillendiriyor.
On yıldır oturmuş kabul edilen dosya formatı katmanı yeniden hareketlendi. Apache Parquet'in 2013 tasarımı toplu taramalar için optimize edilmişken, günümüz yapay zeka iş yükleri milyar satırlık vektör verilerine nokta sorguları, GPU hızında özellik tablolarını ve çok modlu blob'ları aynı anda talep ediyor. NVMe depolamanın hızlanmasıyla darboğaz artık aktarım değil, çözme (decode) maliyeti haline geldi; bu da ağır sıkıştırma kodeklerinin (Zstandard gibi) avantajını tersine çevirdi.
BtrBlocks, FastLanes, ALP ve FSST gibi araştırma projeleri, hafif kodlamaların (sözlük, run-length, bit-packing, delta) zincirlenerek ağır kodeklerle aynı sıkıştırma oranını, bellek hızında ve SIMD dostu şekilde yakalayabildiğini kanıtladı. Bu ekonomik kırılma, Lance, Vortex ve Nimble gibi yeni formatların temel tasarım felsefesini oluşturuyor.
Mühendisler için önemi net: format seçimi artık sadece uyumluluk meselesi değil, iş yükünün fiziksel gerçekleriyle uyum meselesi. Hangi formatın hangi senaryoda (toplu analitik, AI eğitimi, nokta erişim) kazanacağını anlamak, veri altyapısı kararlarının merkezine oturuyor.