Probelock: LLM araç çağırma için kilit dosyası
Probelock, LLM'in araç çağırma yeteneklerini deterministik testlerle ölçüp model/kuantizasyon değişince regresyonda CI'ı durduran bir kilit dosyasıdır.
Probelock, yerel modeller için bir 'yetenek kilit dosyası' sunuyor: agent'ın kullandığı OpenAI tarzı tool tanımlarından otomatik olarak bir dizi araç çağırma ve çıktı testi türetiyor, bunları koda dayalı (JSON şema doğrulama, tam eşleşme, araç adı kontrolü gibi) skorluyor ve sonucu bir lockfile olarak commitliyor. Örnek senaryoda aynı modelin Q8_0'dan Q4_K_M kuantizasyonuna geçişi, tool_selection ve structured_output gibi yeteneklerde 1.00'dan 0.33-0.67 seviyesine düşüşe yol açıyor; probelock bu farkı yakalayıp CI'ı başarısız kılıyor.
Aracın temel farkı, promptfoo gibi test senaryolarını elle yazmanızı gerektiren çerçevelerden ayrılması: probelock hiçbir test senaryosu yazmadan, mevcut tool şemalarınızdan sabit ve tekrarlanabilir bir problem bataryası üretiyor. Ayrıca LLM tabanlı bir hakem kullanmıyor; her probe kod ile skorlandığı için aynı model üzerinde iki kez çalıştırıldığında aynı sonucu veriyor. Amaç mutlak bir lider tablosu değil, aynı modelin kendi baseline'ına göre kıyaslanması; bu da donanım veya benchmark oyunlarına karşı gelen itirazları büyük ölçüde geçersiz kılıyor.
Probelock, Ollama, vLLM, llama.cpp, LM Studio gibi OpenAI uyumlu endpoint'leri doğrudan destekliyor; Anthropic, Gemini veya Bedrock gibi sağlayıcılar için any-llm ya da litellm SDK'ları üzerinden bağlanabiliyor. Tüm akış tamamen deterministik: tek belirsiz nokta modelin kendisi (Client katmanı), geri kalan her adım -probe türetme, skorlama, diff ve gate- saf ve tekrarlanabilir. Mühendisler için pratik sonucu, model/kuantizasyon/runtime değişikliklerinin agent davranışında sessizce yarattığı regresyonları CI aşamasında erken yakalayabilmek.