Deterministik AI: Her işlem token harcamamalı
Ajanlarınızın gereksiz yere token harcamasını önleyin. Deterministik görevleri uygulama katmanına taşıyarak maliyeti düşürüp doğruluğu artırmanın mimarisi.
Bu yazı, mühendislik ekiplerinin AI ajanlarını yanlış kullanarak nasıl gereksiz maliyet ve kalite kaybına yol açtığını ele alıyor. Örnek verilen bir vaka, her sabah bir metrik API'sini çeken, JSON'u yeniden biçimlendiren ve sonucu bir tabloya yazan basit bir görevin, dil modeline yaptırıldığında hem pahalı hem hatalı hale geldiğini gösteriyor. Sorunun kökeni, dil modelinin evrensel bir çalışma zamanı gibi kullanılması: aslında beş satırlık bir betiğin deterministik şekilde yapabileceği işler, token başına ücretlendirilen olasılıksal bir motora yükleniyor.
Yazının önerdiği çözüm net bir ayrım: yargı, yorumlama, belirsizlikle başa çıkma gibi işler ajana; zamanlanmış görevler, API çağrıları, veri dönüşümleri ve sorgulanabilir veri saklama ise uygulama katmanına ait. Özellikle sık yapılan bir hata vurgulanıyor — ajan hafızasının veya notların yapılandırılmış veri (müşteri listeleri, envanter, metrikler) için veritabanı gibi kullanılması. Bu, şema eksikliği, her seferinde tüm notun bağlama okunması ve zamanla bozulan yarı yapılandırılmış metin gibi sorunlara yol açıyor. Buna karşılık tercih, ton, öğrenilmiş desenler gibi şemasız bağlamlar için notlar doğru araç olarak kalıyor.
Vybe platformundaki uygulamayla bu prensip somutlaşıyor: ajanlar sadece sohbet etmiyor, gerçek uygulamalar inşa edip çalıştırıyor. Tekrarlayan işler uygulama içinde zamanlanıyor, veri çekme ve dönüştürme işlemleri endpoint üzerinden kod olarak çalışıyor, durum gerçek bir veritabanında tutuluyor. Competitor Radar ve Falcon örnekleri, ajanın yalnızca 'bu değişiklik gerçekten önemli mi' gibi yargı gerektiren kısımlarda token harcadığını, geri kalan tüm izleme ve teslimatın deterministik kod olarak çalıştığını gösteriyor — bu da token maliyetini ciddi ölçüde düşürüyor.