» Etiket
testing
6 yayınLLM Sağlayıcı Değiştirmeden Önce Neden Smoke Test Şart
Tek bir prompt göndermek LLM sağlayıcısını değiştirmek için yeterli değil. Timeout, streaming, rate limit ve tool-call davranışlarını test eden 10 dakikalık smoke test rehberi.
LLM Hakem Testleri Neden Çalıştırmalar Arası Kararsız?
Aynı kod, aynı girdi, farklı LLM hakem skoru: CI gate'lerinde flapping sorununun kaynakları; sıcaklık, model pinleme, k-örnekleme ve kuantalama ile çözüm.
LLM Değerlendiricileriniz İçin Regresyon Testi Şart
rubric-bench v0.1, LLM tabanlı değerlendiricileri altın veri setleriyle test eden açık kaynak bir araç. CI'da regresyonları yakalayıp model sürüklenmesini önlüyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comLLM-as-judge testleri neden çalıştırma başına farklı sonuç verir
CI'da faithfulness eşiğini kontrol eden LLM hakem, aynı kodda bir gün 0.79 bir gün 0.82 verebilir. Sıcaklık, model sürümü ve belirsiz rubric jitter'ın kaynağı; k-örnekleme ve gürültü bandı çözüm.
Refactyl'ın doğrulayıcısı, kodun kendisinden daha hatalıydı
Vue 2'den Vue 3'e geçiş yapan Refactyl, geçerli kodu hatalı diye reddeden bir doğrulayıcı hatası buldu. AST paylaşımının doğrulama araçlarında neden tehlikeli olduğunu anlatıyoruz.
Xcover: eBPF ile Enstrümantasyonsuz Test Kapsama Analizi
Xcover, ELF ikili dosyalarını kaynak kodu değiştirmeden eBPF probe'larıyla izleyerek fonksiyonel test kapsama ölçümü yapan dil-agnostik bir araç.