« Tüm yayınlar

PromptLedger v0.7: Prompt değişiklikleri için regresyon kapıları

PromptLedger v0.7, prompt sürümlerine evaluation run, metrik karşılaştırma ve politika tabanlı CI regresyon kapıları ekliyor.

PromptLedger v0.7, prompt sürüm kontrolüne değerlendirme (evaluation) katmanı ekliyor. Artık araç sadece 'ne değişti' sorusuna değil, 'yeni prompt gerçekten daha mı iyi performans gösterdi' sorusuna da yanıt verebiliyor. Harici benchmark araçlarından gelen sonuçlar artık her prompt sürümüne bağlı ayrı evaluation run kayıtları olarak tutuluyor; doğruluk, gecikme ve maliyet gibi metrikler saklanabiliyor.

Yeni sürüm karşılaştırma komutları, iki sürüm veya prod/staging gibi etiketler arasında uyumlu benchmark sonuçlarını deterministik biçimde eşleştiriyor. En kritik özellik ise politika tabanlı regresyon kapıları: JSON ile tanımlanan kabul edilebilir doğruluk, gecikme ve maliyet regresyon eşikleri, CI/CD pipeline'larında sıfır olmayan çıkış koduyla build'i başarısız kılabiliyor.

Panel de sıralı (sequence-aware) diff algoritmasına geçerek satır ekleme/çıkarma durumlarında daha doğru karşılaştırmalar sunuyor. PromptLedger yine de prompt'ları çalıştırmıyor veya LLM sağlayıcılarına bağlanmıyor; sorumluluk sınırı yerel-öncelikli, sağlayıcıdan bağımsız ve deterministik kalmaya devam ediyor. 119 testle desteklenen bu sürüm, prompt deneylerini üretime bağlayan eksik 'release katmanı' olmayı hedefliyor.