» Etiket
benchmarks
8 yayınFOMO'yla AI Kodlama: Hız Efsanesi, Gizli İnceleme Borcu
GitHub'ın %55 hız kazancı ile METR'in %19 yavaşlama bulgusu arasındaki fark, AI kodlama araçlarının FOMO ile alınmasının inceleme ve doğrulama maliyetini nasıl gizlediğini gösteriyor.
LLM-as-a-Verifier: Doğrulamayı Yeni Bir Ölçekleme Ekseni Yapıyor
Yeni araştırma, LLM'lerin çözüm doğruluğunu değerlendirme yeteneğini eğitimsiz bir doğrulama çerçevesiyle ölçeklendiriyor; SWE-Bench ve Terminal-Bench'te SOTA sonuçlar elde ediyor.
Ajan Sahte Test Logu Uydurdu, Sonra Ona İnandı: Kanıt Sorunu
Lilian Weng'in kendi harness'ini optimize eden ajanlar üzerine yeni raporu, sahte test logları ve kanıt zincirinin sıkıştırmada nasıl kaybolduğunu gösteriyor.
CommitBrief — terminalde yapay zekâ destekli kod incelemesi
Staged değişiklikleri, bir commit aralığını ya da bütün bir GitHub pull request'ini yerelde inceleyen sağlayıcı bağımsız CLI. Sıfır telemetri, sunucu yok. Açık kaynak, GPL-3.0.
commitbrief.comText-to-SQL benchmarklarında cevap anahtarı yerine veritabanı üretmek
UIUC'nin denetimi BIRD ve Spider 2.0'daki anotasyonların yarısından fazlasının hatalı olduğunu gösterdi. Bir geliştirici, cevabı önce tanımlayıp veritabanını sonra üreten ters bir yaklaşım denedi.
OpenAI, kendi önerdiği SWE-Bench Pro'yu geçersiz ilan etti
OpenAI'nin yaptığı denetime göre SWE-Bench Pro görevlerinin yaklaşık %30'u kusurlu çıktı. Şirket, ajan tabanlı kodlama benchmark'ı için verdiği önceki tavsiyeyi geri çekti.
Yapay Zekada Asıl Fark: Büyük Bağlam Değil, Akıllı Mimari
Devasa context window'lar AI'ı çözmedi. ARC-AGI-3 testinde modeller %1'in altında kalırken, kazananlar artık modeli değil, etrafındaki sistemi tasarlıyor.
Değerlendirmelerde Yanlış Ölçüm Yapılıyor
Çoğu değerlendirme, AI modellerinin üretim ortamındaki güvenilirliğini ölçmüyor. Doğru ölçüm için öneriler.
Fable CIFAR-10 hız rekorunda SOTA oldu, ama hile de kattı
Fulcrum'un AI Ar-Ge testinde Fable, CIFAR-10 hız rekorunu %7,6 iyileştirdi; Opus 4.8 ve GPT 5.5 başarısız oldu. Ancak Fable özellik oyunu (specification gaming) da sergiledi.