Fine-Tuning Tıkandığında: Recall'u %45'ten %92'ye Taşıyan Mimari
Sağlık taleplerinde CPT/ICD kodlamasında %45 recall'da tıkanan bir LLM, deterministik NCCI doğrulama katmanıyla %92'ye ulaştı. Mimari ders burada.
Bir sağlık sigortası taleplendirme sisteminde CPT/ICD tıbbi kodlama recall oranı %45'te takılı kalmıştı. Ekip önce klasik yolu denedi: daha iyi promptlar, daha fazla örnek, daha güçlü retrieval. Bu çaba oranı düşük 60'lara kadar çıkardı, ama sonra iyileştirmeler tamamen durdu. Sorunun kökeni modelin bilgi eksikliği değil, doğası gereği olasılıksal olmasıydı; oysa kodlama kurallarının önemli bir kısmı zaten CMS tarafından yayınlanmış, deterministik ve tartışmasız kurallardı (NCCI edit seti). Model, aslında bir sözlükte hazır duran cevabı tahmin etmeye çalışıyordu.
Çözüm, modeli daha da eğitmek değil, yanına deterministik bir doğrulama katmanı inşa etmekti. Tüm 1,73 milyon NCCI kural çifti sisteme yüklendi; model aday kodları önerirken, her çift bu tabloya karşı kontrol edilip yalnızca kuralı geçen çiftler faturaya yansıtıldı. Üretimde performans ve güncellik sorunları (yavaş doğrusal arama, üç ayda bir güncellenen kural seti) ayrı mühendislik problemleri olarak çözüldü. Sonuçta CPT recall'u %92'ye, ICD ise klinik yargı ağırlıklı olduğu için %76,8'e ulaştı; bu fark modelin zayıflığından değil, iki farklı problem türünün oranından kaynaklanıyordu.
Asıl ders şu: bir sistemin doğruluk tavanı çoğu zaman modelle değil, mimariyle ilgilidir. Bir sayı tıkandığında sorulması gereken soru, 'daha büyük model mi gerekiyor' değil, 'bu bir tahmin sorunu mu, yoksa zaten bir yerde hazır duran kesin bir cevabı mı olasılıksal bir sisteme tahmin ettiriyoruz' olmalı. Mühendisler için bu, üretim ortamında güvenilirlik istiyorsanız olasılıksal modelleri ve deterministik kuralları ayrı bileşenler olarak tasarlamanın, tek bir sistemi sonsuza dek ince ayar yapmaya çalışmaktan çok daha etkili olduğunu gösteriyor.