Netflix'in Veri Kanaryası: Katalog Metadata Doğrulama Sistemi
Netflix, kod değil veri bozulmasından kaynaklanan bir kesintinin ardından üretim trafiğiyle çalışan, 10 dakikada sorun tespit eden bir veri kanarya sistemi geliştirdi.
Netflix'te yaşanan bir üretim kesintisi, ekibin dayanıklılık stratejisinde kritik bir boşluğu ortaya çıkardı: kod değişmemiş, konfigürasyon değişmemiş, ancak önceki bir olay sırasında yapılan manuel bir müdahale bazı başlıklara ait veri akışını bozmuştu. Mevcut kod kanarya sistemleri bu bozulmayı yakalayamadı çünkü hiçbir kod dağıtımı yapılmamıştı; sorun tamamen veri katmanındaydı. Bu olay, yüksek hızlı veri pipeline'ları için kod dağıtımlarına eşdeğer bir doğrulama mekanizmasının eksik olduğunu gösterdi.
Netflix mühendisleri, geleneksel kanarya analiz araçlarının 30-60 dakikalık istatistiksel güven süresine ihtiyaç duyduğunu, oysa veri döngüleri arasında çok daha kısa bir pencereye sahip olduklarını fark etti. Çözüm olarak, adanmış bir orkestratör deseni geliştirdiler: sürekli çalışan baseline ve canary kümeleri, chaos platformunu genişleterek özel eşik ayarları, çok kiracılı test desenleri ve oturum yapışkanlığı (sticky canary) kullanan izole deneyler içeriyordu. Sistem, teknik metrikler yerine saniyedeki oynatma başlatma sayısı (SPS) gibi davranışsal sinyallere odaklanarak müşteri etkisini doğrudan ölçtü ve regresyon anında deneyleri gerçek zamanlı olarak durdurdu.
Bu yaklaşım, mühendislere veri bozulmalarını 10 dakikanın altında tespit edip yayına engel olma imkânı sağladı. Sistemin doğruluğu, kasıtlı olarak yüksek profilli başlıkları kara listeye alarak ve gerçek veri bozulma senaryolarını simüle ederek kontrollü hata enjeksiyonlarıyla test edildi. Genel entegrasyon noktası sayesinde desen, Netflix içindeki diğer veri kaynaklarına da uyarlanabilir hale getirildi.