Prompt önbellekleme faturayı düşürmedi: Kaçırdığım yazma ücreti

Bir agent için prompt caching açıldığında fatura düşmek yerine yükseldi. Sebep, çoğu 'sadece cache aç' yazısının atladığı bir ayrıntıydı: cache okuma (hit) yaklaşık 0.1x ile ucuzken, cache yazma yaklaşık 1.25x prim ile ücretlendiriliyor. Sistem promptunun içine gömülü, her çağrıda yeniden üretilen bir zaman damgası, prefix'i her seferinde farklı kılıyor; bu da her çağrıda yeni bir cache yazımı yapılıp hiçbir zaman okunmaması anlamına geliyordu — sadece pahalı yarısı çalışıyordu.

Yanıt gövdesindeki cache_creation_input_tokens sürekli artarken cache_read_input_tokens sıfırda kalıyordu; bu ikili bozuk bir prefix'in imzasıdır. Çözüm daha fazla caching değil, disiplin: statik içerik (sistem promptu, tool şemaları, döküman) en başta ve değişmeden, dinamik içerik (zaman damgası, kullanıcı mesajı) cache breakpoint'inden sonra kalmalı.

Mühendisler için önemi açık: agent/tool döngüleri, uzun döküman Q&A ve toplu çıkarım gibi tekrar eden prefix'e sahip iş yüklerinde caching gerçekten kazandırıyor; ama prefix byte-bazında sabit değilse yazma primi asla geri kazanılmıyor. Ayrıca proxy/gateway kullanan ekipler için ayrı bir tuzak var: bazı aracılar cache_control alanını sessizce bozabiliyor, bu da hiç hata vermeden tam fiyat ödemeye yol açabiliyor. Tek güvenilir test: aynı isteği iki kez göndermek ve ikinci çağrıda cache_read_input_tokens'ın sıfır olmadığını doğrulamak.