Halüsinasyon Yapmayan Bir Uyum Motoru Nasıl Kurulur
İsviçre uyum verilerinde kurulan bir RAG sisteminin, iki katmanlı erişim ve zorunlu atıflarla halüsinasyonu nasıl yapısal olarak engellediğini anlatıyoruz.
Canton Compliance Hub, İsviçre'de şirket kuran yabancı girişimciler için dağınık kanton ve federal mevzuatı tek bir çok dilli kaynakta toplayan ücretsiz bir araç. Projenin asıl mühendislik sorunu içerik değil güvendi: yanlış bir rakamın gerçek para kaybına yol açabileceği bir alanda sistem halüsinasyon yapmamalı ve her cevap kaynağa dayanmalıydı. Bunun için tek katmanlı klasik RAG yerine, ham metin parçalarını atıf kaynağı olarak, bunlardan damıtılmış 'fact card'ları ise öncelikli sorgu hedefi olarak kullanan iki katmanlı bir Postgres/pgvector mimarisi kuruldu; BM25, vektör arama ve kanton/dil filtreleri birlikte çalışıyor.
Halüsinasyonu önlemek için sistem prompt talimatları yerine yapısal kontroller devreye sokuldu: her iddia bir atıf işaretiyle üretiliyor, atıfsız iddialar hata sayılıyor, alınan kaynak kümesinde olmayan bir atıf ise otomatik olarak reddedilip sıfır sıcaklıkta yeniden üretiliyor. En kritik katman ise ayrı bir sayısal doğrulama adımı; oran, eşik ve CHF tutarları gibi rakamlar yalnızca getirilen kanıtlara göre desteklenen, desteklenmeyen veya çelişen olarak işaretleniyor ve desteklenmeyen sayılar yayına çıkmıyor.
İçeriğin güncelliği ise LLM yerine klasik sinyallerle takip ediliyor: Last-Modified, ETag, sayfa üzeri zaman damgası ve metnin SHA-256 özeti değişmedikçe model tekrar çalıştırılmıyor, bu da gereksiz maliyeti ve tutarsız yeniden özetlemeyi engelliyor. Proje ayrıca kanton bazlı asgari ücret karşılaştırması ve KOBİ uyum takvimi gibi açık veri setlerini CC BY 4.0 lisansıyla yayınlayarak, aynı retrieval altyapısını ücretsiz bir uyum öz-kontrol aracına dönüştürdü. Temel çıkarım: atıfsız veya bilinmeyen kaynaklı iddiayı bir stil tercihi değil, doğrudan bir yapı hatası olarak ele almak.