TaxCalcBench: Açık Kaynak Testte Yapay Zeka Vergi Hesaplıyor
TaxCalcBench, LLM'lerin gerçek vergi beyannamelerini doğru doldurup dolduramadığını ölçen açık kaynaklı bir test; en iyi model bile yüzde 54 doğruluk sağlıyor.
TaxCalcBench, büyük dil modellerinin gerçek vergi beyannamesi doldurma yeteneğini ölçmek için tasarlanmış açık kaynaklı bir değerlendirme çerçevesi. Proje, W-2 ve 1099 gibi gerçekçi PDF belgelerini girdi olarak kullanıyor; hem federal hem de eyalet düzeyinde, giderek daha karmaşık vergi senaryolarını içeren test vakalarıyla modelleri sınıyor.
En güncel Vergi Yılı 2025 sonuçlarına göre web araması özelliğiyle çalışan GPT-5.5, satır bazında yüzde 84,44 doğruluğa ulaşırken, tam ve kusursuz beyanname üretme oranı (strict) sadece yüzde 54 seviyesinde kalıyor. Claude ve Gemini ailesindeki modeller ise bu metrikte daha da geride, bazıları yüzde 2 ile 34 arasında değişen sonuçlar veriyor. Bu fark, modellerin çoğu satırı doğru hesaplasa da tek bir hatanın tüm beyannameyi geçersiz kılabildiğini gösteriyor.
Proje, farklı düşünme bütçeleri (thinking budget), araç kullanımı (web araması) ve çoklu sağlayıcı desteğiyle (OpenAI, Anthropic, Google) komut satırından çalıştırılabilen bir test altyapısı sunuyor. Mühendisler için önemi, LLM'lerin yüksek riskli, kural tabanlı ve hassasiyet gerektiren gerçek dünya görevlerinde hâlâ ciddi sınırlamalara sahip olduğunu somut ve tekrarlanabilir bir benchmark üzerinden ortaya koyması; bu da yapay zekayı finansal otomasyon süreçlerine entegre etmeden önce dikkatli doğrulama katmanlarının gerekliliğini vurguluyor.