Hepsiburada'da VictoriaMetrics ile Merkezi İzleme Mimarisi

Hepsiburada, 2000'den fazla Ubuntu sunucusu ve 500'den fazla Kubernetes kümesini kapsayan devasa altyapısını izlemek için uzun süre izole Prometheus/Grafana yığınları kullandı. Bu yapı 14 günlük kısıtlı veri saklama, merkezi görünürlük eksikliği, tutarsız alerting ve yüksek operasyonel yük gibi ciddi sorunlar üretiyordu. Thanos ile uzun vadeli depolama denemesi de compactor güvenilirliği, yavaş sorgular ve artan bileşen karmaşıklığı nedeniyle beklenen çözümü sağlayamadı.

Ekip, Prometheus uyumlu ve kümeleme desteğine sahip VictoriaMetrics'e geçerek bu sorunları kökten çözdü. Yüksek sıkıştırma oranı sayesinde saklama maliyeti sorunu ortadan kalktı; veriler object storage yerine yerel disklerden okunduğu için çok aylık sorgular bile saniyeler içinde dönebiliyor. Sistem sadece vminsert, vmselect ve vmstorage bileşenlerinden oluştuğu için mimari sadeleşti ve bakım yükü azaldı.

Mimaride Avrupa ve Asya tarafları için ayrı VictoriaMetrics kümeleri (vmetrics-av ve vmetrics-as) kullanılarak coğrafi ayrım ve yüksek erişilebilirlik sağlandı. Sunucu tarafında Consul üzerinden otomatik servis keşfi yapılırken, merkezi Prometheus artık veri tutmuyor, sadece remote_write ile VictoriaMetrics'e aktarım yapıyor; bu da saklama süresini 2 güne indirerek disk ve bakım maliyetini neredeyse sıfırladı. Kubernetes kümelerinde de ArgoCD ile yönetilen Prometheus yığınları aynı şekilde ilgili bölgeye metrik gönderiyor.