Apache Iceberg'e Streaming: Gecikme Fiziğini Anlamak
Iceberg tablolarına veri akıtmanın fiziksel sınırlarını, commit maliyetini, küçük dosya sorununu ve Flink/Spark gecikme dengesini inceleyen 2026 teknik rehberi.
2026 itibarıyla mühendislerin sorduğu soru artık 'Iceberg kullanmalı mıyız' değil, 'tablolarımız ne kadar taze olabilir ve bu yetmediğinde ne yapmalıyız'. Bu değişim, Iceberg'in çalışma mantığından kaynaklanan üç temel fiziksel gerçeği öne çıkarıyor: veri yalnızca bir commit ile snapshot üzerinden görünür hale gelir; her commit metadata yazımı ve katalogda atomik bir takas gerektirdiği için gerçek bir maliyet taşır; sık commit ise küçük dosya birikimine yol açarak sorgu performansını düşürür. Bu üç kısıt, piyasadaki her akış-Iceberg çözümünün aslında aynı üç soruya farklı cevaplar verdiğini gösteriyor: veriyi kim tamponluyor, commit zamanlamasına kim karar veriyor ve bakım işini kim yürütüyor.
Açık kaynak dünyasında Apache Flink, checkpoint döngüsünü Iceberg snapshot commit'leriyle hizalayarak saniyeler seviyesinde tazelik ve tam-bir-kez teslim garantisi sunan referans çözüm olarak öne çıkıyor. Flink CDC ile veritabanı işlem günlüklerinden değişiklik akışı okuyup equality delete'lerle Iceberg'e yazabilmesi, onu operasyonel veritabanlarının neredeyse gerçek zamanlı bir yansımasını tutmak için standart araç haline getiriyor; ancak bu esneklik, okuma performansını bakım tamamlanana kadar yavaşlatan bir equality delete birikimi maliyeti doğuruyor. v3 formatındaki deletion vector desteği bu yükü hafifletmeye başlıyor.
Spark Structured Streaming ise mikro-batch modeliyle dakika seviyesinde tazelik sunan, buna karşılık zaten Spark altyapısına sahip ekipler için operasyonel sürtünmeyi en aza indiren pragmatik bir orta yol olarak konumlanıyor. Tetikleyici aralığı, tazelik ile dosya sağlığı arasında tek ve anlaşılır bir kontrol noktası sağlıyor, fakat Flink'in ulaştığı agresif gecikme seviyelerine erişemiyor ve sürekli çalışan kümeler genellikle fazla kaynak harcıyor.
Her iki yaklaşımda da asıl kritik nokta, alım hattının yanına mutlaka bir bakım hattı (compaction ve snapshot temizliği) kurmak; aksi halde elde edilen tazelik, sorgulanamaz hale gelen bir tabloya dönüşüyor. Bu fiziksel çerçeveyi kavrayan mühendisler, piyasaya her ay çıkan yeni streaming-to-Iceberg ürünlerini de aynı üç soru üzerinden değerlendirebiliyor.