Servisler Neden Çöktüğünü Zaten Biliyor, Deploy'da Bu Bilgi Siliniyor
Cognitive Autonomic Framework, derleme zamanı çıkarılan mimari bilgiyi taşıyarak servislerin kendi arızalarını LLM'siz teşhis etmesini sağlıyor.
Bir mühendis, geleneksel autoscaling'in yalnızca CPU/bellek baskısına tepki verdiğini, uygulamanın gerçekte ne yaptığını hiç modellemediğini gözlemleyerek Cognitive Autonomic Framework (CAF) adlı bir sistem geliştirdi. Fikir basit: derleme sırasında AST'den servisler arası bağımlılıkları, hata alanlarını, retry politikalarını ve izin verilen onarımları içeren küçük bir Runtime Semantic Topology (RST) grafiği çıkarılıyor ve konteynerle birlikte taşınıyor. Böylece arıza anında sistem kendi yapısını 'okuyor', log yığınlarından tahmin etmiyor.
Mimari üç katmanlı: milisaniye seviyesinde reflex devre kesiciler, düğüm-yerel ajanların kendi modeline bakarak sınırlı düzeltmeler denediği ucuz bir orta katman, ve yalnızca nadir/karmaşık vakalarda devreye giren pahalı merkezi bir LLM. Düğümler kalp atışı yerine 'inanç' paylaşıyor; komşular aynı sorunu bağımsız gözlemlerse güven artıyor ve bu, sistem geneli arızayı izole vakadan ayırt etmeyi merkezi bir koordinatör olmadan mümkün kılıyor. Güvenlik, ajanın yalnızca modelde tanımlı kapalı bir onarım listesinden seçim yapabilmesi ve her önerinin üretime çıkmadan önce gölge ortamda doğrulanması ile sağlanıyor.
Altı gerçek servisle çalışan bir prototipte, ajana kendi modelini vermek kök neden tespitini kabaca ikiye katlamış; bu iyileşme model boyutundan değil yapıdan gelmiş (gpt-4o-mini ve gpt-4o aynı skoru vermiş). Güvenlik sınırı, izin verilmeyen tüm onarımları reddetmiş. Yazar, filo ölçeğinde ve uzun vadeli dağıtımlarda henüz kanıtlanmadığını açıkça belirtiyor.
Mühendisler için mesaj net: derleme zamanında zaten var olan mimari bilgiyi silip pahalı LLM'lere log üzerinden yeniden tahmin ettirmek yerine, bu bilgiyi uygulamayla birlikte taşımak hem daha ucuz hem de daha güvenilir bir arıza teşhisi sunabilir.