Apache Parquet 2026'da: Sessiz format en gürültülü dönemine giriyor
On üç yıllık Apache Parquet, lakehouse ve yapay zeka baskısıyla en yoğun geliştirme dönemine giriyor: variant tipi, coğrafi veri desteği ve footer tartışması.
Apache Parquet, analitik veri dünyasının en sessiz ama en yaygın kullanılan dosya formatı olarak on üç yılını geride bıraktı. Ancak 2026, formatın tarihindeki en yoğun geliştirme dönemi olarak öne çıkıyor: yarı yapılandırılmış veriler için native variant tipi, coğrafi veri türleri, yeni bir format sürümü, footer yapısını yeniden tasarlama çabaları, embedding ve yapılandırılmamış veri blokları için önerilen tipler, yeni bir kayan nokta kodlaması ve Parquet'in versiyonlama geleceğini tartışan seksen mesajlık bir tartışma zinciri bu döneme damga vurdu.
Bu hareketliliğin arkasında iki güç yatıyor. Lakehouse çağı, Iceberg ve Delta gibi tablo formatlarının her hırsını Parquet katmanına bir talep haline getirerek formatı ortak alt yapı konumuna taşıdı. Yapay zeka çağı ise embedding'ler, yarı yapılandırılmış bağlamlar, geniş özellik tabloları ve yapılandırılmamış veri yükleri gibi 2013'teki tasarım varsayımlarının öngöremediği iş yüklerini gündeme getirdi. Sonuç olarak Parquet, tam kapasite kullanılırken yeniden inşa ediliyor; bu da mühendislik açısından hem en zor hem de izlemesi en ilginç senaryolardan biri.
Parquet'in dosya yapısı üç katmandan oluşuyor: satırları yatay olarak bölen row group'lar, her sütun için ayrı tutulan column chunk'lar ve en küçük kodlama/sıkıştırma birimi olan page'ler. Dosyanın sonunda yer alan ve Thrift ile serileştirilen footer, şema, konum bilgileri ve min/max istatistiklerini tutarak sorgu motorlarının gereksiz veriyi atlamasını sağlıyor. Bu yıl atılan adımların büyük kısmı, tam da bu footer yapısının sınırlarını zorlamaktan doğuyor; çünkü format her yeni yetenek için yeni bir mantıksal tip, kodlama veya istatistik gerektiriyor.
Mühendisler için asıl önemli nokta, bu değişikliklerin sadece teknik detay olmaktan çıkıp ekosistem çapında etkiler yaratması. Variant tipi gibi spesifikasyonlar Parquet katmanında standartlaştığında, Spark'ın yazdığı veriyi Dremio'nun sorunsuz okuyabilmesi gibi somut kazanımlar ortaya çıkıyor. Parquet'in bu 'ikinci perdesi', veri altyapısı üzerine çalışan herkes için önümüzdeki yıllarda takip edilmesi gereken en kritik gelişmelerden biri olacak.