SDABench: LLM'leri Bilimsel Keşifte Test Eden Yeni Kıstas
SDABench, LLM'leri kod çalıştırma yerine altı bilimsel yetenek üzerinden test eden yeni bir kıstas; sonuçlar ciddi eksiklikleri ortaya koyuyor.
SDABench, büyük dil modellerinin (LLM) bilimsel veri analizindeki yeteneklerini kod çalıştırma veya iş akışı tamamlama yerine altı temel bilimsel yetenek üzerinden değerlendiren yeni bir kıstas. Betimsel, keşifsel, çıkarımsal, tahminsel, nedensel ve mekanistik olmak üzere altı kategoride, Biyoloji, Kimya, Çevre, Coğrafya ve Fizik alanlarını kapsayan 527 gerçek veri ve 6000 sentetik veri örneği sunuyor.
15 önde gelen LLM üzerinde yapılan değerlendirme, modellerin betimsel görevlerde başarılı olduğunu ama varsayım seçimi, gözlemlenemeyen süreç modelleme ve mekanistik akıl yürütme gibi daha karmaşık görevlerde ciddi şekilde zorlandığını gösterdi. Beş aşamalı hata analizi çerçevesi, modellerin bağlamı doğru tanımlasa da yöntem seçimi ve geçerli sonuç çıkarma aşamalarında takıldığını ortaya koyuyor.
Geliştiriciler için SDABench, bilimsel AI araçlarının nerede geliştirilmesi gerektiğine dair somut hedefler sunuyor: varsayım farkındalığı, yöntem seçimi ve nedensel/mekanistik çıkarım yetenekleri. Bu kıstas, LLM'lerin gerçek bir 'AI bilim insanı' olma yolunda hâlâ kat etmesi gereken mesafeyi net biçimde gösteriyor.