Netflix Ölçeğinde Servis Topolojisi: Mimari ve Çıkarılan Dersler

Netflix mühendisleri, dağıtık mimarilerinde servisler arası bağımlılıkları gerçek zamanlı olarak haritalayan bir sistemin nasıl inşa edildiğini anlatıyor. İlk sürüm yerel ortamda kusursuz çalışsa da üretimde Kafka tüketicileri geride kaldı, örnekler bellek yetersizliğinden çöktü ve GC duraklamaları CPU'yu tüketti; bu deneyimler ekibi akış öncelikli (streaming-first) bir mimariye yönlendirdi.

Sistemin temelinde, downstream katmanlar yavaşladığında geri basınç (backpressure) sinyalini yukarı doğru ileten üç aşamalı reaktif bir işlem hattı yer alıyor. Bu sayede veri kaybı ya da örnek çökmesi yaşanmadan, yük altında zarif bir şekilde yavaşlama sağlanıyor. Ayrıca ağ, IPC ve izleme (tracing) verileri, her biri farklı depolama ve sorgu desenlerine göre optimize edilmiş fiziksel olarak ayrık katmanlarda tutuluyor; sorgu anında bu katmanlar paralel olarak taranıp saniyenin altında gecikmeyle birleştiriliyor.

Üç aşamalı dağıtık toplama hattı, yük dengeleyiciler ve proxy'ler gibi ağ ara bileşenlerinin oluşturduğu gürültüyü temizleyerek ham ağ akış kayıtlarını gerçek uygulama-seviyesi bağımlılıklara dönüştürüyor. Sonuç, dakikalar mertebesinde tazelik sunan, saatlik toplu işlemeye kıyasla çok daha kullanılabilir bir gözlemlenebilirlik aracı.

Dağıtık sistemler kuran mühendisler için bu yazı, geri basınç tasarımı, katmanlı depolama ayrımı ve akış tabanlı toplamanın üretimde nasıl test edildiğine dair somut mimari dersler sunuyor.