Sentry'nin Yeni AI Modeli Hata Gruplamada Yanlışları Yarıya İndirdi
Sentry, hata gruplama için kullandığı yapay zeka modelini güncelledi; yinelenen issue oluşturma %20 azaldı, yanlış birleştirme oranı ise yarıya indi.
Sentry, hataları issue'lara gruplarken önce sözdizimsel fingerprint eşleşmesi, ardından anlamsal benzerliğe bakan bir yapay zeka modeli kullanıyor. Şirket bu ikinci modelin v2 sürümünü devreye aldı ve sonuçlar dikkat çekici: gereksiz yeni issue oluşturma %20 azalırken, hatalı birleştirme (overgrouping) oranı yarıya indi. v1 modelinin bazı platformlarda %30-60'lara varan overgrouping oranları görülürken, v2 tüm platformlarda %2-15 aralığında kalıyor ve genel ortalama %8'den %4'e düştü.
Sentry ekibi, iki neredeyse özdeş fakat kök nedeni farklı stacktrace örneğiyle grouping'in ne kadar hassas bir iş olduğunu gösteriyor: aynı zaman aşımı hatası, biri veritabanı sorgusundan biri GPU sunucusundaki model çağrısından kaynaklanıyor ve farklı çözüm gerektiriyor. v1 bu ikisini yanlışlıkla tek issue'da birleştirirken v2 ayırt edebiliyor. Yeni model, lightonai/modernbert-embed-large mimarisi üzerine, Claude Sonnet 4.5 ile etiketlenmiş yüz binlerce stacktrace çiftiyle eğitilmiş; Sentry'nin kendi 'grouping çavuşlarının' yıllara dayanan tecrübesi bu etiketleme sürecine aktarılmış.
Çalışma yalnızca doğruluk odaklı değil: Matryoshka Representation Learning sayesinde embedding boyutu 768'den 64'e düşürülerek doğrulukta sadece %2 kayıpla HNSW arama süresi 4 kat, ekleme süresi 20 kat hızlandı, veritabanı depolama alanı 12 kat azaldı. Sonuç olarak v2 modeli v1'e göre 6 kat daha hızlı çalışıyor ve daha az GPU belleği kullanıyor. Eğitim ve değerlendirme altyapısı açık kaynak olarak paylaşıldı; bu da hata izleme sistemlerinde gruplama kalitesinin nasıl ölçülüp iyileştirilebileceğine dair somut bir mühendislik örneği sunuyor.