» Etiket
testing
46 yayınYeşil Skor Bir Kanıt Değildir: Otorite Boşlukları Testten Kaçtı
16/16 geçen bir test paketi, otorite modelindeki üç kritik açığı gizliyordu. Yeşil skorun neden tek başına yeterli kanıt olmadığına dair bir analiz.
Altı LLM değerlendirme aracını CI'a bağladık, sadece ikisi ayakta kaldı
Sekiz aylık gerçek CI testinde altı LLM eval aracından sadece Promptfoo ve DeepEval merge queue gate'i olarak güvenilir çıktı; nedeni determinizm.
Pyxel Konfigürasyon Aracında Durum Kaymasına Karşı Test Stratejisi
ESA'nın Pyxel çerçevesi için geliştirilen konfigürasyon aracı, şema tazeliği, gerçek şema sınır testleri ve API introspection ile durum kaymasına karşı test ediliyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comvoidguard: Hiçbir Şeyi Doğrulamayan Testleri Yakalayan Statik Tarayıcı
voidguard, geçiyor gibi görünen ama hiçbir şeyi doğrulamayan test, tip kontrolü ve CI koşullarını tespit eden açık kaynak bir statik tarayıcı.
JavaScript Regex Hatalarını Ayıklamak İçin Test Matrisi Yöntemi
JavaScript regex hatalarını dört eksenli test matrisiyle ayıklama: Unicode, bayraklar, yakalama grupları ve durum (lastIndex) yönetimi.
Eşzamanlı Ajan Yamalarını Taban Commit'e Göre Birleştirme
Eşzamanlı kod ajanı yamalarını taban commit, diff dijesti ve hunk sahipliğiyle belirlenimci biçimde birleştiren protokol ve test senaryosu.
AI ajanlarının doğrulamadan konuşmasını engelleyen disiplin kiti
Bir hook tabanlı araç, AI ajanlarının okumadığı dosyaları düzenlemesini engelliyor; kapsam belirleme, tüketici kontrolü ve doğrulanmış oturum devri sağlıyor.
Few-shot örnekleri eval setinden geldi: 0.94 skoru bir kurguydu
Few-shot seçici ve eval seti aynı JSONL dosyasını paylaşınca 0.94 skoru sahteydi. Prompt-zamanı veri kirlenmesi ve kontrol yöntemi.
Loop Mühendisliği: Yanlış Alarm Veren Kontrolü Düzeltmek
Ajan döngülerinde yanlış alarm veren bir kontrolü silmeden düzeltme rehberi: zayıflatmak neden gerçek yakalamaları sessizce devre dışı bırakır?
Diferansiyel Testler Native ve Generic XDP Farklarını Gösteriyor
Native ve generic XDP arasındaki davranış farklarını ölçen açık kaynak diferansiyel test harness'ı ve 11 paketlik taban çizgisi sonuçları.