LLM API faturaları neden sessizce patlar: 7 mühendislik dersi
LLM API faturalarının sessizce patlamasının 7 nedeni: retry fırtınaları, tutarsız token raporlama, streaming ve eşzamanlılık hataları.
Bir geliştirici, arka planda çalışan bir yeniden deneme (retry) mekanizmasının bozuk bir endpoint ile karşılaşıp aynı uzun prompt'u gece boyu tekrar göndermesi sonucu faturasının 40 kata çıkmasıyla karşılaştı. Hiçbir şey 'hata' vermediği için hiçbir alarm tetiklenmedi. Bu deneyim, LLM çağrıları için sağlam bir harcama tavanı inşa etme sürecine dönüştü ve süreçte öğrenilenler tavan mekanizmasından çok, paranın nasıl sessizce sızdığıyla ilgiliydi.
Öne çıkan bulgular arasında sağlayıcı faturalama panellerinin her zaman geriye dönük çalışması, toplam harcama yerine özellik bazlı (feature-level) etiketleme yapmanın asıl teşhis aracı olması ve her sağlayıcının (OpenAI, Anthropic, Gemini, Bedrock, Cohere) kullanım verisini farklı ve tutarsız şekillerde raporlaması yer alıyor. Özellikle reasoning token'larının bazı sağlayıcılarda output sayısına dahil edilip bazılarında edilmemesi, maliyet hesaplamalarını sessizce yanlış yapabiliyor.
Streaming yanıtlar kullanım verisini son ana kadar gizliyor, bu da modern uygulamaların çoğu çağrısını izlemesiz bırakıyor. Basit 'çağır-say-karşılaştır' tipi tavanlar ise eşzamanlı isteklerde bir bütün limit aşımına yol açıyor; asıl çözüm atomik rezervasyon-sonra-uzlaşma modeli. En pahalı hata sınıfının prompt'lar değil, retry fırtınaları olduğu ortaya çıkıyor. Yazar bulgularını budget-guard adlı MIT lisanslı, sıfır bağımlılıklı bir kütüphanede topladı.