» Etiket
ci-cd
6 yayınLLM Hakem Testleri Neden Çalıştırmalar Arası Kararsız?
Aynı kod, aynı girdi, farklı LLM hakem skoru: CI gate'lerinde flapping sorununun kaynakları; sıcaklık, model pinleme, k-örnekleme ve kuantalama ile çözüm.
LLM Değerlendiricileriniz İçin Regresyon Testi Şart
rubric-bench v0.1, LLM tabanlı değerlendiricileri altın veri setleriyle test eden açık kaynak bir araç. CI'da regresyonları yakalayıp model sürüklenmesini önlüyor.
Eval Kapısında Ciddiyet Seviyesi, Düz Başarı Oranından Önemli
severity_gate.py, ajan eval sonuçlarını başarı yüzdesi yerine hata ciddiyetine göre değerlendirip SHIP/REVIEW/BLOCK kararı veren, çevrimdışı ve stdlib tabanlı bir CI aracı.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comLLM-as-judge testleri neden çalıştırma başına farklı sonuç verir
CI'da faithfulness eşiğini kontrol eden LLM hakem, aynı kodda bir gün 0.79 bir gün 0.82 verebilir. Sıcaklık, model sürümü ve belirsiz rubric jitter'ın kaynağı; k-örnekleme ve gürültü bandı çözüm.
Refactyl'ın doğrulayıcısı, kodun kendisinden daha hatalıydı
Vue 2'den Vue 3'e geçiş yapan Refactyl, geçerli kodu hatalı diye reddeden bir doğrulayıcı hatası buldu. AST paylaşımının doğrulama araçlarında neden tehlikeli olduğunu anlatıyoruz.
Bitrise Build Cache artık React Native'in C++ kodunu da önbellekliyor
Bitrise, React Native projelerinde Gradle, Xcode ve ccache önbelleklerini tek komutla birleştirerek CI'de sürekli yeniden derlenen C++ kodunu önbellekliyor.