Claude API'de Görü ve Muhakemeyi Ayırarak Maliyeti %84 Düşürme
Bir OCR pipeline'ında tüm işi Opus'a yaptırmak yerine, sayfa görüntülerini Haiku'ya, kavram çıkarımını Sonnet'e vererek maliyet %84 düştü. Model seçimi ve gerçek bir JSON parse hatası anlatılıyor.
Bir kişisel bilgi tabanı için PDF'lerden yapılandırılmış kavram makaleleri çıkaran bir ingestion pipeline'ı geliştirilirken, tüm işlemin claude-opus-4-8 üzerinden yapılmasının 26 sayfalık tek bir belge için 1-1,3 dolara mal olduğu fark ediliyor. Sorunun kökeninde OCR (sayfadaki metni okuma) ile kavram çıkarımı (kavramları, ön koşulları, zorluk seviyelerini belirleme) arasındaki temel fark yatıyor: birincisi düz transkripsiyon, ikincisi güçlü muhakeme gerektiriyor. Görüntü tabanlı OCR çağrıları ucuz claude-haiku-4-5 modeline, tek seferlik kavram çıkarım çağrısı ise claude-sonnet-4-6 modeline yönlendirilince maliyet 0,18 dolara, yani yaklaşık %84 oranında düşüyor.
Uygulama sırasında ilginç bir hata da ortaya çıkıyor: Sonnet'in JSON çıktısını saran markdown kod bloğu işaretçilerini () temizleyen basit bir string split fonksiyonu, çıkarılan makale içeriğinde kod örnekleri (dolayısıyla iç içe kod blokları) bulununca çıktıyı bozuyor ve JSONDecodeError üretiyor. Çözüm, fence'leri satır satır temizleyen ve JSON'ı ilk `{` ile son `}` arasından ayıklayan daha dayanıklı bir parse mantığı; ayrıca büyük çıkarımlarda sessizce max_tokens sınırına takılmayı önlemek için streaming'e geçiliyor.
Buradaki genel ilke, mühendislerin varsayılan olarak en güçlü modeli seçme alışkanlığını sorgulaması gerektiği: OCR gibi görece mekanik görevler ucuz modellerle, kavram çıkarımı, sentez veya yüksek riskli üretim gibi görevler daha güçlü modellerle yapılmalı. Haiku ile Opus arasındaki 5 kat girdi token farkı, hacim arttıkça operasyonel maliyette ciddi bir fark yaratıyor.