Epistemic Engine: AI kodunu doğrulayan ve riskleri öngören araç

Epistemic Engine, bir kod tabanını git geçmişinden yola çıkarak gerekçelendirilmiş iddialar ("beliefs") bütünü olarak modelleyen deterministik bir Python aracı. Üzerine inşa edilen ee guard, staged veya tüm depoyu tarayarak zayıf kriptografi, injection, güvensiz sink'ler, hardcoded secret'lar ve yanlış yapılandırmaları tespit edip commit'i engelleyebiliyor; SARIF çıktısı ve GitHub Actions workflow üretimi de destekleniyor. Bu, özellikle AI tarafından üretilen değişiklikleri gözden geçirirken pratik bir güvenlik ağı sağlıyor.

ikinci bileşen ee predict-chain, hangi iddiaların yakında çürüyeceğini, nedenlerini, tahmini tarihini ve şimdi mi sonra mı düzeltmenin daha ucuz olacağını hesaplıyor. ee calibrate komutu ise modelin bu depo üzerinde rastgele tahminden gerçekten daha iyi olup olmadığını Brier skoru ile test ediyor ve güvenilmezse bunu açıkça belirtiyor. Tüm sistem LLM veya ağ bağlantısı kullanmadan, tamamen deterministik çalışıyor ve 167 test ile destekleniyor.

Mühendisler için önemi, belirsizliği gizlemeden ölçmesi: eşikler nokta tahmini yerine Wilson güven aralığının alt sınırına göre değerlendiriliyor, maliyet/ROI rakamları varsayım olarak etiketleniyor. pip ile kurulan, Apache-2.0 lisanslı ve 1.500'den fazla üretim dosyasında test edilmiş araç, mevcut depolara aşamalı geçiş için baseline modu da sunuyor.