« Tüm yayınlar

AI SDK v7'de Deprecated Erişimci Ajan Belleğini Sessizce Siliyor

AI SDK v7'de result.response.messages artık sadece son adımı döndürüyor; bu sessiz değişim çok turlu araç çağrılarını tarihçeden siliyor ve küçük modelleri çökertiyor.

Bir LLM ajan benchmark'ı, küçük modellerin çok turlu araç çağrılarında garip biçimde başarısız olduğunu gösteriyordu: model bir önceki turda doğru bir tool call yapıyor, sonraki turda aynı işlemi isteyince sadece "DONE" yanıtı veriyordu. İlk yorum "küçük modeller çok turlu görevlerde zayıf" şeklindeydi, ancak takip çalışmalarındaki tutarsız sonuçlar (bazı mitigasyonların bir modeli %100'den %7.5'e düşürmesi gibi) ekibi asıl mesajlaşma dizisini incelemeye itti.

Kök neden bir kütüphane davranışıydı: AI SDK v7'de result.response.messages, çok adımlı bir araç çağrısı turunda sadece son adımın metnini döndürüyor; modelin yaptığı araç çağrıları ve aldığı sonuçlar ayrı bir seviyede (result.responseMessages veya result.steps üzerinden) tutuluyor. Bu alan v5'te tam da birikmiş geçmişi taşımak için kullanılıyordu ve v7'de sessizce anlamı değişti; derleme hatası veya çalışma zamanı uyarısı yok, sadece editörde görünen bir @deprecated notu var. Sonuç olarak modelin kendi araç kullanımı konuşma geçmişinden siliniyor; model, kendi gözünden bakınca hiç araç çağırmamış gibi görünüyor ve bu yüzden "DONE" demekten başka mantıklı bir devam bulamıyor.

Düzeltilmiş geçmişle yapılan kontrollü A/B testi bunu netleştirdi: 2160 hücrelik testte, geçmiş bozukken modellere göre başarı oranı %4 ile %96 arasında değişirken, geçmiş düzeltildiğinde tüm modeller ve tüm koşullarda %100'e ulaştı. Büyük modeller (gpt-5.4, claude-sonnet-4.5) bu kusuru büyük ölçüde maskeliyor çünkü mevcut talimata her koşulda uyum sağlıyorlar; asıl risk, bir ajan özelliği frontier bir modelle geliştirilip test edildikten sonra maliyet nedeniyle küçük bir modele geçildiğinde ortaya çıkıyor. Sorun sessiz olduğu ve hata fırlatmadığı için, mesaj dizisinin gerçek içeriğinin turdan tura manuel olarak denetlenmesi öneriliyor.

» KaynakHashnode #8