» Etiket
ci-cd
38 yayınAltı LLM değerlendirme aracını CI'a bağladık, sadece ikisi ayakta kaldı
Sekiz aylık gerçek CI testinde altı LLM eval aracından sadece Promptfoo ve DeepEval merge queue gate'i olarak güvenilir çıktı; nedeni determinizm.
Güvenilir Tarayıcı Testinde Asıl Mesele Durum Yönetimi
Dinamik formlar, paralel CI, feature flag'ler ve çok kiracılı yetkilendirme: güvenilir tarayıcı testleri asıl olarak durum yönetimini doğru kurmakla ilgilidir.
Pyxel Konfigürasyon Aracında Durum Kaymasına Karşı Test Stratejisi
ESA'nın Pyxel çerçevesi için geliştirilen konfigürasyon aracı, şema tazeliği, gerçek şema sınır testleri ve API introspection ile durum kaymasına karşı test ediliyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comAnthropic, yapay zeka odaklı yazılım geliştirme sürecini nasıl güvenli hale getiriyor
Anthropic'in Claude tabanlı geliştirme sürecinde güvenliği kod, test ve dağıtım aşamalarına nasıl entegre ettiğini inceliyoruz.
Clipper: Tembel Katman Çekme ile Docker Build 7 Kat Hızlanıyor
Clipper, CI'da kaybolan cache-mount'ları dışa aktarıp gereksiz runtime dosyalarını atlayarak Docker build sürelerini 7 kata kadar hızlandırıyor.
Synapse Yapay Zekaya Yanlış Pozitifleri İşaretletir, Asla Sildirmez
Synapse, güvenlik taramalarında yanlış pozitifleri iki modelli AI doğrulamasıyla işaretliyor; hiçbir bulguyu silmeden gate güvenilirliğini koruyor.
Wattage: Yapay Zeka Ajanları için Token Maliyeti Profilleyici ve CI Kapısı
Wattage, OTel izlerinden ajan token harcamasını profilleyip dolar cinsinden fiyatlandırıyor ve maliyet regresyonlarında CI'ı durduruyor — açık kaynak, çevrimdışı.
Epistemic Engine: AI kodunu doğrulayan ve riskleri öngören araç
Epistemic Engine, git geçmişinden deterministik güven skorları çıkararak AI kodunu doğrulayan ve gelecekteki hataları öngören açık kaynak Python aracı.
voidguard: Hiçbir Şeyi Doğrulamayan Testleri Yakalayan Statik Tarayıcı
voidguard, geçiyor gibi görünen ama hiçbir şeyi doğrulamayan test, tip kontrolü ve CI koşullarını tespit eden açık kaynak bir statik tarayıcı.
LLM'leri Yazılım Gibi Test Etmek: QA için Promptfoo Rehberi
QA mühendisleri için Promptfoo ile LLM test etme: versiyonlanmış evaller, deterministik assertion'lar, model-graded rubric'ler ve sağlayıcı karşılaştırması.