Mühendislerin Güvendiği Olay Yapay Zekâsı Nasıl İnşa Edildi
Olay tespiti için geliştirilen yapay zekâ, önce muhakemeye odaklanınca güven kaybetti. Deploy takibi ve bağlam grafiğiyle isabet oranı %35'ten %70'e çıktı.
Bir mühendislik ekibinin geliştirdiği ilk olay tespit sistemi, sağlam bir sistem bağlamı kurmadan doğrudan muhakemeye odaklanınca ciddi güven sorunları yaşadı. Topoloji, deploy geçmişi ve önceki olay kayıtları olmadan sistem, genellikle en son deploy edilen servisi suçlayarak makul görünen ama yanlış açıklamalar üretti. Mühendisler önerilen ilk hipoteze sadece %35 oranında katıldı ve kısa sürede araca güvenmeyi bıraktı; bazıları ham trace verisini incelemeyi tercih etti.
Ekip bu başarısızlıktan yola çıkarak sistemi yeniden tasarladı. En büyük fark, deploy olaylarını ve konfigürasyon değişikliklerini olay bağlamına dahil etmekten geldi: olayların yaklaşık %60'ında son iki saat içinde yapılan bir değişiklik rol oynuyordu. Bu tek eklemeyle isabet oranı %35'ten %70'e yükseldi. Servis sahipliği, bağımlılık grafiği ve yapılandırılmış post-mortem geçmişi eklenince sistem, sadece mevcut veriyi özetlemek yerine kurumsal hafıza gibi davranmaya başladı.
Sonuçta ekip, altı katmanlı bir mimari üzerinde karar kıldı: normalizasyon, bağlam grafiği, kanıt getirimi, yapılandırılmış muhakeme çıktısı, insan onayı ve öğrenme döngüsü. Servis kimliklerinin tutarsızlığı gibi küçük hatalar bile üst katmanlardaki tüm korelasyonu bozabiliyor; öğrenme döngüsüne ham post-mortem verisi beslemek ise sistemi iyileştirmek yerine kötüleştirebiliyor. Otomatik düzeltme yerine insan onayı bilinçli olarak son adım olarak bırakıldı.
Bu deneyim, mühendislere fayda sağlayan yapay zekâ sistemlerinin dil üretiminden çok, doğru bağlamı hızlı biçimde birbirine bağlamakla ilgili olduğunu gösteriyor. Güçlü bir sistem bağlamı olmadan üretilen kendinden emin ama yanlış cevaplar, hiç cevap vermemekten daha zararlı olabiliyor.