LiteLLM fiyat tablosunun tek otomatik testi: jq empty
LiteLLM'in ekosistem çapında kullanılan AI fiyat tablosunun tek testi jq empty — kaynak, tarih ya da doğrulama yok. Mühendisler için ne anlama geliyor?
AI maliyet araçlarının neredeyse tamamı aynı yöntemi kullanıyor: token sayımını yerelde yapıp, ekosistemin ortak referansı haline gelen tek bir JSON fiyat tablosuyla çarpıyor. Bu tabloyu barındıran LiteLLM deposu (~51k yıldız, ~2.783 model), ccusage, tokencost ve ccost gibi araçlar tarafından doğrudan veya kopyalanarak kullanılıyor. Ancak bu kritik dosyanın tek otomatik kontrolü 'jq empty' komutu — yani sadece geçerli JSON olup olmadığını doğruluyor; değer kontrolü, sağlayıcı sayfalarıyla çapraz kontrol, girdi/çıktı fiyatlarının yer değiştirmesine karşı koruma ya da tarih/köken bilgisi yok.
Yazar, Claude Code için harcama izleyen BudgetClaw aracını geliştirirken bu tabloyu incelemiş ve somut sorunlar bulmuş: bazı Grok modelleri için hem yanlış fiyat hem de bu fiyatı çürüten doğru kaynak URL'si aynı satırda yer alıyor; kayıtların sadece ~%31'inde kaynak bilgisi var; fiyat değiştiğinde eski değer kalıcı olarak siliniyor (bu da geçmiş kullanım maliyetlerinin yanlış hesaplanmasına yol açıyor); ve düzeltmeler ana dala birleşse bile sonraki toplu senkronizasyonlarla sessizce geri alınabiliyor. Açılan bir düzeltme PR'ı haftalarca sadece botlar tarafından incelenmiş, insan onayı almamış.
Bu, mühendisler için önemli çünkü token sayımı işin kolay kısmı; asıl güvenilirlik sorunu, o sayıyı çarptığınız fiyatın kaynağı, tarihi ve doğrulanma durumu belirsizken ortaya çıkıyor. Yazar, kaynak, geçerlilik tarihi, doğrulama tarihi ve güven etiketi taşıyan, geçmiş fiyatları silmek yerine üst üste katmanlayan alternatif bir açık kaynak fiyat indeksi paylaşıyor.