LLM Faturası Neden Sabit Trafikte Bile Artıyor?
Kullanıcı trafiği sabit kalsa da LLM maliyetleri artabilir. İstek sayısı yerine token bazlı operasyon takibiyle gizli maliyet artışlarını tespit etmenin yolları.
Bir mühendis, kullanıcı trafiği sabit kalmasına rağmen LLM faturasının sürekli arttığını fark ediyor. Sorunun kaynağı beklenenin aksine fiyatlandırma değişikliği ya da yanlış model deploy'u değil, istek sayısı ile sağlayıcının faturalandırdığı token sayısı arasındaki kopukluk oluyor. Aynı endpoint'e gelen iki istek, sistem promptu, konuşma geçmişi, araç tanımları ve retry denemeleri gibi farklı bileşenler yüzünden çok farklı maliyetler üretebiliyor; ancak dashboard'lar bunları tek bir 'istek' olarak gösteriyor.
Çözüm, her model çağrısını iş birimiyle (operation_id, workflow, model, attempt, input/output token, cache ve reasoning token bilgileriyle) ilişkilendirerek loglamaktan geçiyor. Bu yaklaşım, üç gizli maliyet kaynağını ortaya çıkarıyor: sohbet geçmişinin her turda büyümesi, araç tanımlarının gereksiz yere tekrar tekrar gönderilmesi ve retry/fallback denemelerinin ayrı istekler gibi görünüp aslında tek bir kullanıcı talebine karşılık gelmesi. Ayrıca modellerin, ürünün gerçekte kullanmadığı uzunlukta çıktı üretmesi de maliyeti şişiren bir faktör olarak tespit ediliyor.
Sonuç olarak, toplam harcamayı izlemek yerine 'operasyon başına input/output token', 'operasyon başına model çağrısı' ve 'cache edilen token oranı' gibi metriklere odaklanmak, farklı problemleri birbirinden ayırt etmeyi kolaylaştırıyor. Bu, LLM tabanlı sistemlerde maliyet gözlemlenebilirliğinin, klasik istek/latency izlemesinden farklı bir disiplin gerektirdiğini gösteriyor.