Apache Lakehouse'ta Yönetişim Haftası: Iceberg, Parquet, Polaris
Iceberg, Parquet ve Polaris toplulukları bu hafta yönetişim ve format evrimini tartıştı: istatistik sahipliği, erişim kontrolü ve birincil anahtar desteği öne çıktı.
Apache lakehouse ekosisteminde bu hafta gündem, veri formatlarının nasıl evrilmesi gerektiğiydi. Parquet, kırıcı değişiklikler için sürümlü yayın modelini oylamaya açtı; Polaris ise semantik model API'sini yeni kuluçka projesi Ossie ile uyumlu hale getirmek için oylamasını iptal etti. Bu arada Iceberg Rust 0.10.0, doğrulama sırasında sorunlar çıkması üzerine RC2'den RC3'e geçti; kütüphane artık PyIceberg-core, DataFusion ve JVM'siz servisler gibi çok sayıda araç için temel oluşturduğundan bu titizlik önemli.
Iceberg tarafında en dikkat çekici tartışma tablo istatistikleriyle ilgiliydi: birden fazla motorun (Spark, Trino, Impala) aynı snapshot için istatistik yazması durumunda birinin diğerinin çalışmasını ezmesi sorunu çözümsüz kaldı. Ayrıca REST katalogda dosya seviyesinde erişim delegasyonu önerisi, önceden imzalı URL'lerle bölüm bazlı paylaşımı mümkün kılarak ticari platformların sunduğu ince taneli erişim kontrolüne açık spesifikasyonu yaklaştırıyor. Son olarak, Iceberg'in birincil anahtar eksikliği yeniden gündeme geldi; CDC ve değiştirilebilir veri iş yükleri için anahtar farkındalıklı yazma semantiği önerileri tartışıldı.
Bu gelişmelerin tümü, milyonlarca üretim tablosunu bozmadan format evrimini yönetme çabasının bir parçası. Mühendisler için asıl önemli olan, bu yönetişim kararlarının çok motorlu dağıtımlarda performans, güvenlik ve CDC entegrasyonunu doğrudan etkileyecek olması.