Loglar sessiz kaldı ama metrikler bir olayı ele verdi
Bir lab ortamında görülen gizemli bellek artışı, gNMI okumalarının neden loglanmadığını ve sadece metriklerle yakalanabildiğini gösteren bir gözlemlenebilirlik hikayesi.
Bir mühendis, containerlab üzerinde kurduğu Arista cEOS tabanlı lab ortamında Grafana'da beklenmedik bir bellek artışı fark eder. Ancak dört farklı log katmanını (EOS agent, ConfigAgent, Sysdb, sistem logları) kontrol ettiğinde hiçbir olay kaydına rastlamaz. İlk teoriler yanlış çıkar: systemctl süreçlerindeki artış aslında metrik son kullanma tarihinden kaynaklanan bir yapaylıktır, ayrıca yol boyunca rsyslog'un 2.4 milyon kez sessizce crash-loop yaptığı ilginç ama ilgisiz bir hata da ortaya çıkar.
Gerçek neden, zaman serisi verilerinin dikkatli incelenmesiyle bulunur: dört router'da eşzamanlı, ani bir sıçrama ve ardından yavaş bir düşüş paterni. Bu şekil, yazma değil okuma işaretidir çünkü konfigürasyon yazmaları loglanırken okumalar loglanmaz. Kontrollü deneylerle CLI tabanlı bir okumanın belleği etkilemediği, ancak toplu bir gNMI okumasının (Sysdb/ConfigAgent üzerinden) bellek havuzlarını doldurup yavaşça serbest bıraktığı kanıtlanır.
Bu vaka, ağ mühendisleri ve gözlemlenebilirlik uygulayıcıları için önemli dersler içerir: sadece loglara güvenmek, sistemdeki tüm okuma tabanlı aktiviteyi görünmez kılabilir. İki noktalı karşılaştırmalar yanıltıcı olabilir; tam zaman serisi incelemesi gerekir. Bir metriğin gerçekte neyi ölçtüğünü bilmek kritik önemdedir ve bir hipotez, tekrarlanabilir bir deneyle doğrulanana kadar sadece bir varsayımdır.