Qwen 3.8-Max ve Claude Opus 5: Skorlar Faturayı Tahmin Etmiyor
Qwen 3.8-Max ve Claude Opus 5 örnekleri, token fiyatının artık gerçek maliyeti göstermediğini, başarılı görev başına maliyetin neden önemli olduğunu gösteriyor.
Alibaba'nın Qwen 3.8-Max modeli, kodlama benchmark'larında zirveye yakın olduğu iddiasıyla piyasaya sürüldü. Ancak daha sıkı zaman bütçeleri kullanan bağımsız bir test, modelin varsayılan ayarını sıralamanın en altına, en yüksek 'effort' ayarını ise orta sıraya koydu. Farkın kaynağı basit: Alibaba'nın kendi dipnotları bazı testlerde 12 saate kadar çalışma süresine izin veriyor, bağımsız test aracı VulcanBench ise 45-60 dakikayla sınırlı. Beş ila on altı katlık bu zaman farkı, sonuçları tek başına tersine çevirebiliyor.
Bu durum, model değerlendirmesinde daha derin bir sorunu ortaya koyuyor: token başına fiyat karşılaştırmaları, muhakeme (reasoning) modelleri için artık gerçek maliyeti göstermiyor. Uzun düşünme süreçleri token bütçesini cevaba ulaşmadan tüketebiliyor ve ücretli bir çalıştırma, telafisi olmayan boş bir sonuca dönüşebiliyor. Long-Horizon-Terminal-Bench, VulcanBench ve TestEvo-Bench gibi ayrı benchmark'lar, başarısızlıkların çoğunun yanlış cevaptan değil bütçe tükenmesinden kaynaklandığını gösteriyor; bazı durumlarda daha yüksek 'effort' ayarı, sonuç kalitesi düşük olduğu için değil zamanı bitirdiği için daha kötü skor alıyor.
Yükselen pratik çözüm, başarılı görev başına maliyet: başarısız denemeler dahil toplam harcamanın, gerçekten geçen görev sayısına bölünmesi. HubSpot, Zendesk ve Fin gibi şirketler zaten bu şekilde faturalandırıyor. Başarısızlık durumunda daha 'akıllı' modele yükselen yönlendirme zincirleri kuran ekiplerin, bu yükselmenin gerçekten daha iyi performans için mi yoksa bir zaman aşımı için mi ödeme yaptığını kontrol etmesi gerekiyor; ayrıca varsayılan effort ayarlarının bazen en maliyetli ve en kötü performanslı yapılandırmaya karşılık geldiğini de test etmeleri şart.