Uyurken Uygulamamdaki Hataları Avlayan Yapay Zeka Ajanı
Bir ajan uygulamayı saatlik test edip hata buluyor, ikincisi bulguları doğrulayıp düzeltiyor. Güven seviyesi ve tekrar üretme kuralı sistemi güvenilir yapıyor.
Bir geliştirici, gerçek ve oturum açılmış masaüstü uygulamasını saatlik olarak test eden bir yapay zeka ajanı kurmuş. Playwright ve Chrome DevTools Protokolü üzerinden çalışan bu 'avcı' ajan; rotaları geziyor, diyalog açıyor, formları dolduruyor ve garip davranışlar için ekran görüntülü GitHub issue'ları açıyor. İkinci bir 'düzeltici' ajan ise bu raporları alıp hatayı önce kendisi yeniden üretiyor, yamayı yazıyor, öncesi-sonrası kanıtı topluyor ve pull request açıyor; son onay yine insana kalıyor.
Sistemin asıl zorluğu hata bulmak değil, dürüst olmakmış. Ajan her bulguyu bug/beklenen ama kötü UX/ortam sorunu/test boşluğu/kesin değil şeklinde sınıflandırıyor ve yüksek, orta, düşük güven seviyesi atıyor; sadece yüksek güvenli, yeniden üretilebilir hatalar için issue açıyor. Bu yaklaşım sessizce takılan sohbet ekranları, yanlış kaydedilen token alanları ve tek piksele küçülen panel gibi normal testlerde gözden kaçan küçük ama gerçek hataları yakalamış. İlginç bir örnekte, avcı ajan kendi önerdiği bir özelliğin (kaydedilmemiş değişiklik uyarısı) yol açtığı yeni bir hatayı da tespit etmiş ve düzeltici ajan bunu çözmüş.
Sistemin sınırları da net: CDP yalnızca uygulamanın web görünümünü görebiliyor, işletim sistemi düzeyindeki dosya seçicileri veya bildirimleri göremiyor. Sessiz hatalar ajanın olmayan bir başarıyı anlatmasına yol açabiliyor, bu yüzden hataları 'gürültülü' hale getirmek büyük mühendislik çabası gerektirmiş. Ayrıca bu sistem bir CI kontrolü değil, çünkü gerçek ve yavaş çalışan bir katman.
Mühendisler için asıl çıkarım, mekaniğin (Playwright, zamanlama, prompt) kolay olduğu ama ajanı dürüst kılmanın zor olduğu. Güven seviyesi eklemek, sınıflandırma yapmak ve düzeltmeden önce hatayı yeniden üretmeyi zorunlu kılmak, otomatik hata avcılığını güvenilir bir araca dönüştürüyor.