AI PR İnceleyicisini Değerlendirirken Öğrenilen Dersler

Bir yapay zeka destekli PR inceleme eklentisinin değerlendirme sürecini anlatan bu yazı, Claude Opus'un rehbersiz haliyle bile textbook hataların yaklaşık %65-70'ini yakaladığını ortaya koyuyor. Eklentinin asıl katkısı yeni hata bulma değil, yanlış pozitifleri bastırmak ve risk sınıflandırmasını iyileştirmek olarak öne çıkıyor; çünkü model zaten kolay hataların çoğunu tek başına yakalayabiliyor.

Değerlendirme sürecinde en çarpıcı bulgu, kod hiç değişmeden sadece puanlama ağırlıkları değiştirildiğinde plugin ile baseline arasındaki farkın 9 puan açılması oldu. Risk sınıflandırması eklenti tarafından zaten doğru yapılıyordu, ancak bu başarı değerlendirme kriterlerinde yeterince ağırlık taşımıyordu.

Yazının en öğretici kısmı, yetkilendirme koruması ekleyen bir PR'ın yanlışlıkla yüksek riskli olarak işaretlenmesiyle ilgili. Reviewer'ın prompt'u dört kez yeniden yazılmasına rağmen sorun çözülemedi; asıl hata yukarı akıştaki kanıt oluşturucunun (evidence builder) PR'ı baştan 'kırmızı şerit' olarak sınıflandırmasıydı. Kanıt oluşturucudaki tek satırlık bir düzeltme, reviewer hiç değiştirilmeden sorunu tamamen çözdü.

Mühendisler için çıkarım net: çok aşamalı AI sistemlerinde hatayı doğru bileşende aramak, prompt mühendisliğinden daha kritik olabilir. Downstream bileşenin kalitesi, upstream'in ürettiği bağlama bağlı; bu da hata ayıklamada doğru katmanı bulmayı, doğru cümleyi yazmaktan daha önemli kılıyor.