LLM'in Eğitim Verisi Bayatlayınca: Nijerya Araç Fiyatlama Motoru Nasıl Düzeltildi
Bir LLM, Nijerya araç fiyatlarını eski dolar kuruyla hatırlayınca fiyatlama motoru bozuldu; canlı veri zorunluluğu ve önbellek kirliliği dersleri.
Nijerya'daki ikinci el araçlara fotoğraftan değerleme sunan AutoValue platformunda geliştirici, fiyat tahminini bir LLM'e (Claude Haiku) bıraktığında garip bir örüntüyle karşılaştı: neredeyse her araç, gerçek değerinden bağımsız olarak 20-25 milyon nayra bandına oturuyordu. Kök neden, modelin eğitim verisinin dolar kurunun yaklaşık 450 nayra olduğu döneme ait olmasıydı; oysa güncel kur 1.500 nayraya yaklaşmıştı. Model yanlış tahmin yapmıyordu, artık var olmayan bir dünyadan doğru fiyatları akıcı bir şekilde geri getiriyordu.
Çözüm, promptu iyileştirmek değil, modelin rolünü değiştirmekti. Sistem artık önce canlı web aramasıyla (Serper, yedekte Google Custom Search) gerçek ilan fiyatlarını çekiyor ve bunu zorunlu bir taban fiyat olarak kullanıyor. LLM artık fiyatı 'bilen' değil, kilometre, durum ve arıza gibi faktörlere göre bu tabanı yüzdesel olarak ayarlayan bir hesap makinesi rolünde.
İkinci bir hata, sistemin kendi ürettiği tahminleri önbelleğe kaydetmesinden kaynaklandı: arama sonucu bulunamadığında modelin kendi tahmini 'veri' etiketiyle saklanıyor, sonraki sorguda bu halüsinasyon gerçek piyasa verisi gibi modele geri veriliyordu. Çözüm, her önbellek kaydına kaynak bilgisi eklemek ve modelin kendi çıktısının asla 'veri' olarak geri beslenmemesiydi. Marka ve yıla göre fiyat tabanı tabloları da son bir sağlık kontrolü olarak eklendi.
Bu vaka, dalgalı ekonomilerde fiyat, maaş veya kira soran herhangi bir LLM ürünü için genel bir ders sunuyor: canlı veri erişimi isteğe bağlı değil zorunlu olmalı, model mutlak rakamlar yerine göreli düzeltmeler yapmalı ve önbelleğe alınan her değerin kaynağı izlenmeli.