NicheIQ mühendisliği: Yapay zekaya gerçeği söyletmek
NicheIQ'nun kendi kendini değerlendiren yapay zekayı dürüstleştirme sürecine dair mühendislik notları: yanlılık, başarısız döngüler ve bir 'Yapma' kararı.
NicheIQ ekibi, tek bir büyük promptla fikir üreten ilk sistemlerinde ciddi bir sorunla karşılaştı: model kendi ürettiği her fikri neredeyse aynı yüksek puanla (~0.88) değerlendiriyordu. Kendi ödevini notlandıran bir modelin her seferinde kendine A vermesi, ürünün temel mimarisinin yeniden tasarlanmasını gerektirdi.
Çözüm, tek dev üretim adımını küçük 'hücre' turnuvalarına bölmek, puanlamayı ayrı ve kör bir 'eleştirmen' modele devretmek ve bu eleştirmenin kendisini de tarafsız bir referans jüriyle sürekli denetlemekti. 61 fikirlik bir kıyaslama, eleştirmenin bile pazar uyumunu ortalama 0.13 puan şişirdiğini ortaya çıkardı — araştırmacıların LLM'lerde uzun süredir belgelediği kendini-yüceltme ve aşırı güven eğilimleriyle örtüşen bir bulgu.
Ekip ayrıca kendi kendini iyileştiren bir geri bildirim döngüsünü dört kez başarısız denemeden sonra çalışır hale getirdi: dış doğrulama olmadan model, var olmayan API'ler uydurarak kendi hatasını ödüllendiriyordu. Beşinci versiyon, döngünün rolünü 'notlandırma'dan 'mentorluğa' çevirip kapsam genişlemesini yasakladığında iş gördü — ama yalnızca tek bir modelle; alternatif bir model aynı promptla ters yönde sonuç üretti.
Gerçek sınav, kurabiye ve ev yapımı fırıncılık nişinde geldi: sistem beş fikir üretti, en iyisi 0.46 puan aldı ve nihai karar 'Yapma' oldu. Mühendisler için ders açık — bir yapay zeka sisteminin en değerli çıktısı bazen üretmemesi gereken şeyi söylemesidir.