» Etiket
ci-cd
22 yayınLLM Hakem Testleri Neden Çalıştırmalar Arası Kararsız?
Aynı kod, aynı girdi, farklı LLM hakem skoru: CI gate'lerinde flapping sorununun kaynakları; sıcaklık, model pinleme, k-örnekleme ve kuantalama ile çözüm.
LLM Değerlendiricileriniz İçin Regresyon Testi Şart
rubric-bench v0.1, LLM tabanlı değerlendiricileri altın veri setleriyle test eden açık kaynak bir araç. CI'da regresyonları yakalayıp model sürüklenmesini önlüyor.
Eval Kapısında Ciddiyet Seviyesi, Düz Başarı Oranından Önemli
severity_gate.py, ajan eval sonuçlarını başarı yüzdesi yerine hata ciddiyetine göre değerlendirip SHIP/REVIEW/BLOCK kararı veren, çevrimdışı ve stdlib tabanlı bir CI aracı.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comReact Auth E-postalarında Test Kararlılığı için Run ID Deseni
React tabanlı auth e-posta testlerinde flakiness'in gerçek nedeni zamanlama değil, UI ile posta kutusu arasındaki korelasyon eksikliği. TypeScript tabanlı bir run id deseni çözümü sunuyor.
AI ve CI Boru Hatlarında Güvensiz Kodu Güvenle Çalıştırmak
PR'ları okuyan AI botları ve CI sistemleri artık yabancı kod çalıştırıyor. İzolasyonun neden yetmediğini ve gerçek savunma ilkelerini ele alıyoruz.
revert_guard.py: AI ajanların reddedilen kodu geri eklemesini önler
revert_guard.py, git revert geçmişini okuyarak AI ajanların daha önce reddedilen kodu (ör. card_token sütununu) commit öncesi yeniden eklemesini engelleyen offline, anahtarsız bir araçtır.
LLM-as-judge testleri neden çalıştırma başına farklı sonuç verir
CI'da faithfulness eşiğini kontrol eden LLM hakem, aynı kodda bir gün 0.79 bir gün 0.82 verebilir. Sıcaklık, model sürümü ve belirsiz rubric jitter'ın kaynağı; k-örnekleme ve gürültü bandı çözüm.
AGENTS.md'yi öneriden icra edilebilir kurala çevirmek
60 binden fazla projede kullanılan AGENTS.md, aslında sadece metindir; kimse doğruluğunu denetlemez. getff, iddiaları test ve CI kapılarıyla bağlayarak belgeyi icra edilebilir hale getiriyor.
Docker İmajını 1.2GB'tan 180MB'a İndirmenin 5 Yolu
Uygulama kodunu değiştirmeden Docker imaj boyutunu %85 küçültme rehberi: multi-stage build, küçük base image, katman sıralaması ve .dockerignore taktikleri.
Ota, OrchardCore ile .NET Sözleşmesini Dürüstçe Sınadı
Ota, OrchardCore reposunda dotnet restore'u birinci sınıf bağımlılık adımına çevirip build/test komutlarını yapılandırarak dar ama dürüst bir kapsam kanıtladı.