» Etiket
data-engineering
17 yayınAdil Yazı-Tura Yetmez: Rastgele Deneyde Analiz Neden Çöker
Kriptografik olarak adil bir rastgele atama, eksik join anahtarı, test/prod ayrımı ve güç analizi olmadan neden analiz edilemez bir deneye dönüşür?
Apache Iceberg V3: Silme Vektörleri Veri Ekonomisini Değiştirdi
Apache Iceberg'de satır silmenin neden zor olduğunu, v2'nin silme dosyalarını ve v3'ün silme vektörlerinin bu maliyeti nasıl dönüştürdüğünü inceliyoruz.
Slack, EMR Veri Hatlarında SSH'ı REST API ile Değiştirdi
Slack, EMR küme erişiminde SSH bağımlılığını kaldırarak 700'den fazla veri hattını YARN Distributed Shell ve Quarry ile REST tabanlı mimariye taşıdı.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comBORME'yi Kazımayın: İspanya Şirket Sicilinde Gizli Açık API
İspanya'nın BORME sicili için 2009'dan beri var olan resmi açık API, PDF kazımayı gereksiz kılıyor; 9.5 milyon kayıt bu şekilde işlendi.
Apache Iceberg'e Streaming: Gecikme Fiziğini Anlamak
Iceberg tablolarına veri akıtmanın fiziksel sınırlarını, commit maliyetini, küçük dosya sorununu ve Flink/Spark gecikme dengesini inceleyen 2026 teknik rehberi.
Apache Arrow 10 yaşında: Görünmez standart artık her yerde
Apache Arrow, ilk commit'inin üzerinden 10 yıl geçti. Bellek içi kolonsal format, Parquet'in tamamlayıcısı olarak veri dünyasının sessiz omurgası haline geldi.
5 Eyalet 12.4 Milyon Şirket Kaydını Ücretsiz API ile Açtı
New York, Colorado, Pennsylvania, Oregon ve Connecticut şirket sicillerini Socrata API üzerinden ücretsiz ve ticari kullanıma açık yayınlıyor. Ölçülen rate limitler ve veri tuzakları.