Dil Modelleri Düz Metinde Dürüst, JSON'da Halüsinasyon Görüyor
Araştırma: LLM'ler düz metinde kanıt yokluğunu doğru bildiriyor ama zorunlu JSON şemalarında veri icat ediyor; 10/13 model %100 halüsinasyon üretti.
Yeni bir bağımsız araştırma, dil modellerinin "bilmiyorum" demeyi düz metinde öğrendiğini ama yapılandırılmış çıkış formatlarında bu davranışı büyük ölçüde kaybettiğini gösteriyor. Kanıtın kesinlikle mevcut olmadığı senaryolarla (örneğin yanıt metni olmayan bir paylaşım hakkında "insanlar ne diyor?" sorusu) 13 model test edildi. Düz metinde modeller kanıt eksikliğini yüzde 98 doğrulukla bildirdi; aynı soru zorunlu alanlı bir JSON şemasıyla sorulduğunda 13 modelden 10'u yüzde 100 oranında veri icat etti.
Şemaya "insufficient_evidence" gibi bir kaçış değeri eklemek öncü modellerde (GPT-5.5 her seferinde bu çıkışı kullanıyor) sorunu çözüyor, ancak açık kaynak modellerde neredeyse etkisiz: kaçış seçeneği mevcut olsa bile fabrikasyon oranı yüzde 60-100 arasında kalıyor. Gramer kısıtlı üretimle yapılan testler, sorunun tokenın erişilemez olması değil, modellerin bunu sadece maliyetsiz alanlarda kullanması olduğunu ortaya koydu: asıl icadı oluşturan üç kritik alanda sıfır kez kaçınırken, düşük riskli dördüncü alanda kaçınıyorlar.
Araştırma ayrıca, prompt seviyesindeki halüsinasyon önleme talimatlarının düz metinde işe yararken zorunlu şema altında çoğu model için işlevsiz kaldığını, model boyutunun da dirençle ilişkili olmadığını gösteriyor. Araştırmacı, kaçış değeri eksik zorunlu enum'ları tespit eden açık kaynaklı bir linter (phantomfill-lint) yayınladı; çalışma COLM 2026'daki AIMS çalıştayında kabul edildi.
Mühendisler için sonuç açık: yayınlanan dürüstlük ölçümleri düz metne dayanıyor, ama üretim sistemleri JSON modunda çalışıyor. Şema tasarımı artık bir güvenlik yapılandırması olarak ele alınmalı.