Databricks devasa kod tabanında AI kodlama ajanlarını test etti

Databricks mühendislik ekibi, gerçek PR'lardan derlenen bir iç benchmark ile kodlama ajanlarını çok dilli, milyonlarca satırlık kod tabanı üzerinde test etti. Sonuçlar modellerin üç net yetenek katmanına ayrıldığını gösterdi: en zeki modeller her görevi çözebiliyor ama pahalı, orta ve düşük seviye modeller ise günlük işler için hem yeterli hem çok daha ucuz. Açık kaynaklı GLM 5.2, Opus 4.8 ile istatistiksel olarak eşit kalite gösterirken görev başına belirgin biçimde daha düşük maliyet sundu ve artık günlük geliştirme için ciddi bir alternatif haline geldi.

Analiz, token fiyatının gerçek görev maliyetini yanıltıcı biçimde yansıttığını ortaya koydu; daha büyük modeller genellikle daha az token harcayarak toplamda daha ucuza gelebiliyor. Ayrıca aynı model, farklı harness'lar (ör. Claude Code/Codex ile Pi) üzerinden çalıştırıldığında maliyet iki katına kadar değişebiliyor, çünkü her turda modele gönderilen bağlam miktarı harness'a göre büyük farklılık gösteriyor. Databricks, kamuya açık benchmark'ların (SWE-Bench gibi) kendi kod tabanlarını temsil etmediğini ve çözümlerin eğitim verisine sızdığını belirterek, kendi PR'larından özenle filtrelenmiş görevlerle daha güvenilir bir ölçüm yöntemi geliştirdiğini vurguluyor. Bu bulgular, mühendislik ekiplerinin model ve harness seçimini maliyet-performans dengesine göre yeniden düşünmesi gerektiğini gösteriyor.