Lakehouse Şifreleme Rehberi: Parquet, Iceberg ve Uyumluluk Sorunu
Apache Parquet ve Iceberg 1.11'in şifreleme mimarisi, terminolojisi ve çok motorlu lakehouse'larda birlikte çalışabilirlik zorlukları.
Bucket düzeyinde şifreleme (SSE) yalnızca fiziksel depolama katmanını korur; sızan bir kimlik bilgisi veya aşırı yetkili bir IAM rolü verilere düz metin olarak erişebilir. Gerçek koruma için verinin depolamaya ulaşmadan önce, depolama servisinin hiç görmediği anahtarlarla şifrelenmesi gerekir — istemci taraflı şifreleme. Lakehouse'ta bu, aynı dosyayı okuyan farklı üreticilerden birden fazla sorgu motorunun anahtar yönetimini, meta veriyi ve bütünlüğü aynı şekilde yorumlaması gerektiği için zor bir dağıtık sistemler problemine dönüşür.
2026 itibarıyla parçalar nihayet bir araya geldi: Apache Parquet'in modüler şifrelemesi olgunlaştı, Apache Iceberg 1.11 ise üç katmanlı anahtar hiyerarşisi, şifreli meta veri ve katalog tabanlı anahtar aracılığı içeren tam zarf-şifreleme (envelope encryption) tasarımını öne çıkan özellik olarak sundu.
Bu terminoloji ve mekanik anlaşılmadan yapılan yapılandırmalar tehlikelidir: yanlış ayarlanmış bir kriptosistem, sahte bir güven duygusu verirken hiçbir gerçek koruma sağlamaz. Mühendisler için önemli olan; DEK/KEK hiyerarşisi, AES-GCM ile kimlik doğrulamalı şifreleme, AAD bağlamı ve anahtar rotasyonu/crypto-shredding gibi operasyonel pratiklerin, çok motorlu bir lakehouse'ta birlikte nasıl çalıştığını kavramaktır.