Açık Kaynak AI Nöbetçi Komutanı 15 Gerçek Arızada %88 Başarı Aldı
Açık kaynak AI incident commander aracı, 15 gerçek arızada %88 başarı elde etti; yerel LLM ile ücretsiz çalışıyor, insan onayı zorunlu.
Olay yönetiminde asıl darboğaz genelde teknik değil, dokümantasyon yüküdür: zaman çizelgesi tutmak, paydaş güncellemesi yazmak ve postmortem hazırlamak aynı anda karar vermekle çakışır. Bu soruna karşı geliştirilen ai-incident-commander, MIT lisanslı ve tamamen yerel bir LLM ile çalışan bir CLI aracı; API anahtarı, bulut veya Docker gerektirmiyor. Araç zaman çizelgesi, Slack'e yapıştırılabilir güncellemeler, kök neden önerileri ve kör (blameless) postmortem taslakları üretiyor, ancak paydaş güncellemesi, düzeltme önerisi ve postmortem gibi kritik adımlarda insan onayı bekliyor; hiçbir işlemi otomatik yürütmüyor.
Geliştirici, aracı Cloudflare, GitLab, GitHub ve AWS'in kamuya açık postmortem'lerinden alınan 15 gerçek olay üzerinde test etti; küçük ve ucuz bir modelle (DeepSeek V4 Flash) toplam maliyet sadece 0,02 dolar oldu. Sonuç: 120 kontrolün 106'sı geçti (%88,3). Kör dil, veri eksikliğine dayanıklılık, halüsinasyon yokluğu ve maliyet takibi gibi altı kriterde %100 başarı elde edildi.
En öğretici kısım metodolojik bir düzeltmeydi: ilk testte skor %61'de kalmıştı çünkü LLM çıktısı, insan yazımı gerçek postmortem'lerle kelime kelime karşılaştırılıyordu. Test, tutarlılık ve kalite kontrolüne (sahiplik, öncelik, kronoloji var mı?) çevrilince skor %100'e çıktı — LLM çıktısını arama motoru gibi değil, denetlenmesi gereken bir mühendis gibi değerlendirmek gerektiğini gösteren önemli bir ders. Geliştirici, runbook kalitesine bağımlılık, küçük modellerin kök neden zincirini tam yakalayamaması ve sınırlı test örneklemi gibi eksiklikleri de açıkça paylaşıyor.
Bu sentez, kaynağından yapay zeka tarafından üretildi; insan editör ya da elle onay adımı yoktur. Nasıl çalışıyoruz