» Etiket
data-engineering
5 yayınAirbnb, çok ürünlü dünya için veri mimarisini yeniden kurguladı
Airbnb, Experiences ve Services lansmanıyla veri ekiplerinin merkezi ilkeler ve esnek modelleme kurallarıyla nasıl tutarlı bir veri mimarisi kurduğunu anlatıyor.
Netflix'in Veri Kanaryası: Katalog Metadata Doğrulama Sistemi
Netflix, kod değil veri bozulmasından kaynaklanan bir kesintinin ardından üretim trafiğiyle çalışan, 10 dakikada sorun tespit eden bir veri kanarya sistemi geliştirdi.
Netflix'in Data Projects Modeli: Veri Varlıklarını Ölçekte Yönetmek
Netflix, milyonlarca tabloyu ve on binlerce iş akışını yönetmek için Data Projects'i tanıttı. Kişiye bağlı kimlik ve ACL sorunlarını nasıl çözdüklerini inceliyoruz.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comNetflix, Cassandra'dan Iceberg'e Veri Taşımada Casspactor'ü Nasıl Aştı
Netflix, Cassandra'dan Iceberg'e veri taşıyan eski Casspactor motorunun kısıtlarını aşmak için katmanlı, S3 tabanlı yeni bir mimari geliştirdi. Mühendislik detayları.
Slack, EMR Veri Hatlarında SSH'ı REST API ile Değiştirdi
Slack, EMR küme erişiminde SSH bağımlılığını kaldırarak 700'den fazla veri hattını YARN Distributed Shell ve Quarry ile REST tabanlı mimariye taşıdı.