Text-to-SQL Neden Model Değil, Veri Ambarınız Yüzünden Başarısız Oluyor
Text-to-SQL doğruluğu gerçek kurumsal veri ambarlarında çöküyor. Kanıtlar, sorunun model kalitesi değil, dokümante edilmemiş şema ve bağlam olduğunu gösteriyor.
Akademik Spider benchmark'ında %91 doğruluğa ulaşan sistemler, gerçek kurumsal veri ambarlarından oluşan Spider 2.0'da çakılıyor: GPT-4o skoru %86,6'dan %10,1'e düşüyor. BIRD benchmark'ının hata analizi de aynı sonucu gösteriyor; hataların %80'inden fazlası SQL sözdiziminden değil, modelin şemayı ve iş anlamını yanlış kavramasından kaynaklanıyor.
Model sabit tutulup yalnızca bağlam değiştirildiğinde tablo netleşiyor. Pinterest'in iç text-to-SQL sisteminde tablo dokümantasyonu eklemek doğru tablo bulma oranını %40'tan %90'a çıkardı. BIRD'ün sağladığı tek cümlelik açıklama hem modelin hem de insan analistlerin doğruluğunu aynı oranda, yaklaşık 20 puan artırıyor; bu da sorunun zeka değil, eksik bilgi olduğunu gösteriyor. Snowflake'in kendi verileri bile aynı şeyi doğruluyor: ham model %51'de kalırken, insan eliyle hazırlanmış semantik modelle %90'ın üzerine çıkıyor.
Son dönemde ajan tabanlı sistemler şemayı sorgulama anında keşfederek Spider 2.0 skorlarını yeniden %90'lara taşıdı, ancak bu her sorguda pahalıya mal olan aynı düzeltmenin farklı bir uygulaması. Bir ajan customers_v2 tablosunun var olduğunu keşfedebilir ama hangi gelir tanımının finans ekibi tarafından geçerli sayıldığını asla öğrenemez, çünkü bu bilgi hiçbir yerde yazılı değildir. Çözüm daha iyi bir model değil, veriyi modellemek, tanımları yazmak ve neyin kanonik olduğunu işaretlemektir.