» Etiket
data-engineering
17 yayınCatawiki'nin Uzman Tahminlerinden Fırsat Avcısı Bot Yapımı
Catawiki'nin her lot sayfasına gömdüğü uzman tahmin verisi NEXT_DATA JSON'ında saklı. Bu veriyle canlı fırsatları yakalayan bir Apify Actor'ü nasıl kurduğumu anlatıyorum.
Airbnb, çok ürünlü dünya için veri mimarisini yeniden kurguladı
Airbnb, Experiences ve Services lansmanıyla veri ekiplerinin merkezi ilkeler ve esnek modelleme kurallarıyla nasıl tutarlı bir veri mimarisi kurduğunu anlatıyor.
Netflix'in Veri Kanaryası: Katalog Metadata Doğrulama Sistemi
Netflix, kod değil veri bozulmasından kaynaklanan bir kesintinin ardından üretim trafiğiyle çalışan, 10 dakikada sorun tespit eden bir veri kanarya sistemi geliştirdi.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comDebezium mu Yönetilen CDC mi: Build-Buy Kararı Nasıl Verilir
CDC pipeline'larında asıl mesele log okuma değil, etrafındaki operasyonel yük. Debezium ile yönetilen CDC araçları arasında build-buy kararını doğru vermek için pratik bir çerçeve.
BigQuery'de Otonom Veri Ajanlarını Maliyetten Koruma
Otonom veri ajanları BigQuery'de kontrolsüz sorgularla yüksek maliyetlere yol açabilir; dry-run tarama ve token bütçesi korumaları bu riski nasıl önlüyor?
Apache Parquet 2026'da: Sessiz format en gürültülü dönemine giriyor
On üç yıllık Apache Parquet, lakehouse ve yapay zeka baskısıyla en yoğun geliştirme dönemine giriyor: variant tipi, coğrafi veri desteği ve footer tartışması.
Apache Iceberg'de Variant Tipi: Shredding ile JSON Analitiği Hızlandırma
Apache Iceberg v3'teki Variant tipi ve shredding tekniği, JSON verilerini hem esnek hem de sorgu performansı yüksek hale getiriyor. İşte perde arkası.
AI Teknik Borcu: Üretilen Kod Neden Metadata ve Denetim İster
Veri mühendisliğinde AI ile üretilen kod hızlı ama riskli olabilir. Metadata, insan denetimi ve governance olmadan 'niyet borcu' birikir.
Netflix'in Data Projects Modeli: Veri Varlıklarını Ölçekte Yönetmek
Netflix, milyonlarca tabloyu ve on binlerce iş akışını yönetmek için Data Projects'i tanıttı. Kişiye bağlı kimlik ve ACL sorunlarını nasıl çözdüklerini inceliyoruz.
Netflix, Cassandra'dan Iceberg'e Veri Taşımada Casspactor'ü Nasıl Aştı
Netflix, Cassandra'dan Iceberg'e veri taşıyan eski Casspactor motorunun kısıtlarını aşmak için katmanlı, S3 tabanlı yeni bir mimari geliştirdi. Mühendislik detayları.