Ajanik Otomatik Onarımı Değerlendirme: Kanarya Kapıları ve Hata Sınıfları

GitHub, 10 Temmuz 2026'da kod tarama uyarıları için ajanik otomatik onarım özelliğini genel önizlemeye açtığını duyurdu. Bu gelişme, yapay zeka tarafından üretilen güvenlik yamalarının gerçekte ne kadar güvenilir olduğunu nasıl ölçeceğimiz sorusunu gündeme getiriyor. Kaynak, GitHub'ın önizlemesini değil, bu tür sistemleri değerlendirmek için önerilen bir metodolojiyi ele alıyor.

Önerilen yaklaşıma göre 'yama üretilen uyarı yüzdesi' yanıltıcı bir başarı ölçütüdür; çünkü üretim sadece ilk adımdır. Gerçek boru hattı uyarı, kod adayı, derleme, test, güvenlik doğrulayıcısı, insan incelemesi, birleştirme ve birleştirme sonrası gözlemden geçer. Metodoloji, aktif sahipliği olan, deterministik derlemeye sahip, geri alınabilir ve otomatik üretime dağıtım yapmayan sınırlı bir depo kümesinde kanarya testi öneriyor; her deneme -reddedilenler ve vazgeçilenler dahil- kayıt altına alınmalı.

Her başarısızlık, kapsam ihlali, derleme hatası, gerileme, eksik anlamsal düzeltme, test manipülasyonu ve birleştirme sonrası kaçış gibi 12 sınıftan birine atanmalı; böylece bir hatalı deneme birden fazla ölçüm paydasını kirletmez. Yalnızca birim testlere değil, yamanın güvenlik özelliğini gerçekten sınayan ve yamasız haldeyken başarısız olan güvenlik doğrulayıcılarına da ihtiyaç var.

Daha geniş dağıtıma geçiş, sıfır kritik kapsam ihlali, sıfır otomatik birleştirme ve minimum örneklem büyüklüğü gibi önceden belirlenmiş eşiklerle kazanılmalı; yetki artışı, güvenlik politikasının zayıflatılması veya sızıntı gibi durumlarda ise geri alma prosedürleri devreye girmeli.