Bankacılık RAG Chatbot'unda PDF Çıkarma Üç Haftayı Nasıl Yuttu
Bankacılık RAG chatbot'unda PDF çıkarma, tablo bozulması, OCR ve chunking sorunlarının üretim mühendisliğine etkisi.
Bir bankacılık chatbot'u için sınıflandırıcı ve önbellek katmanları sorunsuz çalışırken, asıl zorluk kredi politikası PDF'lerini bilgi tabanına yüklemekle başladı. Basit bir PDF-to-text çıkarıcı, tabloları anlamsız tek satırlara dönüştürüyor, başlıkları paragraflarla birleştiriyor ve faiz oranlarını bağlamından koparıyordu; çıktı yanlış değil, 'kendinden emin şekilde yanlış' görünüyordu.
Ekip, sayfa sınırlarını ve tablo yapısını anlayan bir doküman-zekası çıkarım hattına geçmek, sayfalar arası bölünen tabloları elle birleştirmek zorunda kaldı. Taranmış ve eğik belgeler için OCR eklendi, ancak düşük güvenilirlikli satırlar retrieval'a hiç verilmedi — küçük bir bilgi boşluğu, yanlış bir sayıdan her zaman daha güvenliydi.
Sabit uzunlukta metin bölme (chunking) cümleleri ortadan kesiyor ve LLM'in yarım cümleden yanlış cevap üretmesine yol açıyordu; başlık/paragraf sınırlarına göre bölüp gerektiğinde örtüşmeli parçalara düşen hibrit bir yaklaşım bunu çözdü. Son olarak, aynı politika belgesinin birden fazla sürümünün dolaşıyor olması, sürüm ve tarih meta verisi olmadan retriever'ın süresi dolmuş bir faiz oranını güncelmiş gibi sunabileceğini gösterdi — meta veri artık ikinci planda bir detay değildi.
Bu deneyim, üretim RAG sistemlerinde asıl mühendislik yükünün model seçimi değil, doküman girişi olduğunu gösteriyor: düzen farkındalıklı çıkarım, tablo bütünlüğü, OCR güven eşikleri, anlamlı chunking ve sürüm meta verisi, özellikle finans gibi yüksek riskli alanlarda doğruluğu belirliyor.