Favur Evals: Hangi yapay zeka modeli daha iyi kod yazıyor?
Favur, farklı yapay zeka modellerinin kodlama performansını karşılaştıran bağımsız ve halka açık bir liderlik tablosu olan Favur Evals'ı duyurdu.
Favur ekibi, aynı iş tanımını farklı yapay zeka modelleriyle çalışan bir ajan takımına (planlayıcı, mimar, test uzmanı, kodlayıcı, gözden geçiren, derleyici) tekrar tekrar verip sonuçları karşılaştıran halka açık bir liderlik tablosu olan Favur Evals'ı yayına aldı. Amaç basit: belirli bir kodlama görevi için hangi modelin öne çıktığını somut verilerle göstermek.
Sonuçlar tek bir kazananı işaret etmiyor. Şu anda en iyi sonucu Gemini Flash 3.5 ile Gemini Flash Lite'ın karma kullanıldığı bir kurulum veriyor; en güçlü test paketleri OpenAI modellerinden, en iyi maliyet/performans oranı DeepSeek'ten, sıfır hatalı en sade çalışma ise Qwen'den geliyor. Skorlar kod kalitesi, test kalitesi, maliyet verimliliği, hız, araç disiplini, süreç disiplini gibi sekiz ayrı mühendislik metriğine bölünüyor; ayrıca modellerin önbellek kullanımı, akıl yürütme derinliği ve araç kullanım sıklığı gibi davranışsal izleri de gösteriliyor.
Benchmark'ın öne çıkan yanı, puanlamanın bir LLM tarafından değil, çalışmanın kendi ürettiği lint, karmaşıklık metrikleri ve test sonuçları gibi somut verilerden hesaplanması. Kurallar herkese açık ve her puan tıklandığında formülünü gösteriyor. Bu, herhangi bir sponsorluk almadan bağımsız olarak yürütülen, mühendislerin model seçimini soyut iddialar yerine ölçülebilir verilere dayandırmasını amaçlayan bir girişim.