» Etiket
data-engineering
27 yayınApache Iceberg V3: Silme Vektörleri Veri Ekonomisini Değiştirdi
Apache Iceberg'de satır silmenin neden zor olduğunu, v2'nin silme dosyalarını ve v3'ün silme vektörlerinin bu maliyeti nasıl dönüştürdüğünü inceliyoruz.
Slack, EMR Veri Hatlarında SSH'ı REST API ile Değiştirdi
Slack, EMR küme erişiminde SSH bağımlılığını kaldırarak 700'den fazla veri hattını YARN Distributed Shell ve Quarry ile REST tabanlı mimariye taşıdı.
BORME'yi Kazımayın: İspanya Şirket Sicilinde Gizli Açık API
İspanya'nın BORME sicili için 2009'dan beri var olan resmi açık API, PDF kazımayı gereksiz kılıyor; 9.5 milyon kayıt bu şekilde işlendi.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comApache Iceberg'e Streaming: Gecikme Fiziğini Anlamak
Iceberg tablolarına veri akıtmanın fiziksel sınırlarını, commit maliyetini, küçük dosya sorununu ve Flink/Spark gecikme dengesini inceleyen 2026 teknik rehberi.
Web Scraping: Dış Kaynak Kullanımı mı, İç Yapı mı?
Web scraping için dış kaynak kullanımı ile iç yapı arasında karar verme rehberi. Bakım yükünü değerlendirin.
Apache Arrow 10 yaşında: Görünmez standart artık her yerde
Apache Arrow, ilk commit'inin üzerinden 10 yıl geçti. Bellek içi kolonsal format, Parquet'in tamamlayıcısı olarak veri dünyasının sessiz omurgası haline geldi.
5 Eyalet 12.4 Milyon Şirket Kaydını Ücretsiz API ile Açtı
New York, Colorado, Pennsylvania, Oregon ve Connecticut şirket sicillerini Socrata API üzerinden ücretsiz ve ticari kullanıma açık yayınlıyor. Ölçülen rate limitler ve veri tuzakları.