» Etiket
data-engineering
29 yayınAdil Yazı-Tura Yetmez: Rastgele Deneyde Analiz Neden Çöker
Kriptografik olarak adil bir rastgele atama, eksik join anahtarı, test/prod ayrımı ve güç analizi olmadan neden analiz edilemez bir deneye dönüşür?
Apache Iceberg V3: Silme Vektörleri Veri Ekonomisini Değiştirdi
Apache Iceberg'de satır silmenin neden zor olduğunu, v2'nin silme dosyalarını ve v3'ün silme vektörlerinin bu maliyeti nasıl dönüştürdüğünü inceliyoruz.
Slack, EMR Veri Hatlarında SSH'ı REST API ile Değiştirdi
Slack, EMR küme erişiminde SSH bağımlılığını kaldırarak 700'den fazla veri hattını YARN Distributed Shell ve Quarry ile REST tabanlı mimariye taşıdı.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comBORME'yi Kazımayın: İspanya Şirket Sicilinde Gizli Açık API
İspanya'nın BORME sicili için 2009'dan beri var olan resmi açık API, PDF kazımayı gereksiz kılıyor; 9.5 milyon kayıt bu şekilde işlendi.
Apache Iceberg'e Streaming: Gecikme Fiziğini Anlamak
Iceberg tablolarına veri akıtmanın fiziksel sınırlarını, commit maliyetini, küçük dosya sorununu ve Flink/Spark gecikme dengesini inceleyen 2026 teknik rehberi.
Web Scraping: Dış Kaynak Kullanımı mı, İç Yapı mı?
Web scraping için dış kaynak kullanımı ile iç yapı arasında karar verme rehberi. Bakım yükünü değerlendirin.
Apache Arrow 10 yaşında: Görünmez standart artık her yerde
Apache Arrow, ilk commit'inin üzerinden 10 yıl geçti. Bellek içi kolonsal format, Parquet'in tamamlayıcısı olarak veri dünyasının sessiz omurgası haline geldi.
5 Eyalet 12.4 Milyon Şirket Kaydını Ücretsiz API ile Açtı
New York, Colorado, Pennsylvania, Oregon ve Connecticut şirket sicillerini Socrata API üzerinden ücretsiz ve ticari kullanıma açık yayınlıyor. Ölçülen rate limitler ve veri tuzakları.
Tahmin Pazarlarında Fiyat Normalizasyonu Problemi
Tahmin pazarlarında fiyatların normalizasyonu, mühendislik için kritik bir sorundur. Farklı platformlar, fiyatları farklı şekillerde hesaplar.