AWS Lambda ile CloudWatch metriklerini VPC içi OpenTelemetry'ye akıtma
AWS, Data Firehose ve Lambda dönüşüm fonksiyonu kullanarak CloudWatch metrik akışlarını VPC içindeki OpenTelemetry collector'lara nasıl ilettiğini anlatıyor.
AWS, bir müşteri için Prometheus tabanlı pull mimarisinin neden olduğu API kısıtlamaları ve veri kaybı sorunlarını çözmek amacıyla push tabanlı bir gözlemlenebilirlik mimarisi tasarladı. Çözüm, CloudWatch Metric Streams'in ürettiği metrikleri Amazon Data Firehose üzerinden, VPC içinde çalışan bir OpenTelemetry collector'a iletiyor. Ancak Firehose HTTP hedeflerinin genel erişime açık olması gerektiğinden, özel VPC uç noktalarına doğrudan teslimat mümkün değil.
Bu kısıtlamayı aşmak için Firehose'un veri dönüştürme özelliği kullanılarak senkron olarak tetiklenen bir AWS Lambda fonksiyonu devreye alınıyor. Bu fonksiyon, metrikleri bir Network Load Balancer üzerinden VPC içindeki OpenTelemetry collector'a güvenli şekilde iletiyor. Mimari; CloudWatch Metric Streams, Data Firehose, Lambda dönüşüm fonksiyonu ve EC2 üzerinde konteyner olarak çalışan OpenTelemetry collector olmak üzere dört ana bileşenden oluşuyor.
Bu yaklaşım, sıkı veri gizliliği gereksinimleri olan kurumlar için üçüncü taraf lisans maliyetlerini ortadan kaldırırken dakika altı gecikmeyle gerçek zamanlı uyarı ve merkezi bir izleme paneli sağlıyor. Mühendisler için önemi, açık kaynak OpenTelemetry standardını kullanarak vendor lock-in olmadan, ölçeklenebilir ve maliyet etkin bir push tabanlı gözlemlenebilirlik altyapısı kurmanın somut bir referans mimarisini sunması.