DeepSWE: AI Kodlama Ajanlarını Değerlendirmek İçin En İyi Ölçüt mü?
DeepSWE, AI kodlama ajanlarının performansını değerlendirmek için yenilikçi bir ölçüm platformudur.
DeepSWE, karmaşık yazılım mühendisliği görevlerinde AI kodlama ajanlarının performansını değerlendirmek için tasarlanmış yüksek kaliteli bir ölçüm platformudur. Geleneksel ölçütlerin aksine, bu sistem, beş ana programlama dilinde orijinal ve kontaminasyondan uzak görevler kullanarak, modellerin ezberlenmiş çözümlerden faydalanmasını engeller. DeepSWE, daha derin gerçek dünya karmaşıklığı ve daha çeşitli kod tabanları sunarak, AI modellerinin gerçekçi bir şekilde test edilmesini sağlar.