AI Akış Yanıtlarında Sıfır Token Faturalama Hatası Nasıl Yakalanır
stream_billing_gate.py, AI akış yanıtlarında metin teslim edilip kullanım verisi kaybolduğunda faturalamanın sıfır kalmasını çevrimdışı tespit ediyor.
Akış tabanlı AI yanıtlarında metin önce, kullanım verisi (token sayımı) en sonda gelir. Eğer bağlantı kopması veya hatalı yazım nedeniyle bu son kullanım çerçevesi kaybolursa, kullanıcı yanıtın tamamını görür ama sistem 0 çıktı token'ı loglar; yani gerçek bir maliyet oluşmasına rağmen fatura sıfır görünür. Bu problem herhangi bir istisna veya hata fırlatmadan sessizce gerçekleşir.
stream_billing_gate.py adlı araç, kayıtlı akış loglarını (canlı trafiği değil) çevrimdışı okuyarak teslim edilen metni yeniden oluşturur ve loglanan kullanım verisiyle karşılaştırır. Metin teslim edilmiş ama kullanım sıfır veya eksikse araç 'delivered-but-unbilled' (teslim edildi ama faturalanmadı) hatasıyla bloklama yapar. Araç, kelime sayımını muhafazakâr bir alt sınır olarak kullanır; gerçek tokenizer olmadan kesin sayı vermez ama metin varsa gerçek token sayısının sıfırdan büyük olması gerektiği mantıksal iddiasını kanıtlar.
Dört sonuç durumu tanımlanmış: OK (tutarlı), UNDERCOUNT (kısmi kayıp, uyarı), BLIND (sıfır faturalama, bloklama) ve EMPTY (teslimat yok). Araç OpenAI Chat Completions, Anthropic Messages, OpenAI Responses ve genel normalize formatları otomatik tanıyarak farklı sağlayıcı loglarında çalışabiliyor. Bu, mühendisler için maliyet takibi ve gözlemlenebilirlik altyapılarında sessiz veri kaybını yakalayan pratik bir doğrulama katmanı sunuyor.