AI görünürlük panelleri neden çoğunlukla işe yaramıyor
AI arama asistanlarında marka görünürlüğünü ölçen araçlar 100 milyon dolarlık bir sektör oldu, ama araştırmalar bu ölçümlerin büyük ölçüde anlamsız olduğunu gösteriyor.
ChatGPT, Claude ve Google'ın yapay zeka özelliklerinde marka görünürlüğünü izleyen araçlar hızla büyüyen bir sektör haline geldi; yıllık harcamanın 100 milyon doları aştığı tahmin ediliyor. Ancak Rand Fishkin'in Gumshoe.ai ile yaptığı kapsamlı çalışma ve buna eşlik eden arXiv araştırmaları, bu panellerin ürettiği 'görünürlük yüzdesi' ve 'sıralama' gibi metriklerin büyük ölçüde anlamsız olduğunu ortaya koyuyor. Aynı prompt yüzlerce kez çalıştırıldığında aynı marka listesinin tekrar çıkma olasılığı yüzde birin altına düşüyor; sıralama, marka sayısı ve içerik her seferinde değişiyor.
Bunun nedeni dil modellerinin çalışma şekli: cevaplar sabit bir veritabanından çekilmiyor, her token olasılıksal olarak üretiliyor ve buna web araması eklendiğinde varyans iki katına çıkıyor. Fishkin'in bulduğu tek istikrarlı sinyal 'değerlendirme kümesi' (bir markanın havuzda olup olmaması) oldu; sıralama ve konum bilgisi güvenilir değil. Ayrıca çoğu izleme aracı, hafıza, konum, hesap geçmişi ve sistem promptu olmayan API uç noktalarını sorguluyor — gerçek ChatGPT kullanıcı deneyiminden tamamen farklı bir ortamı ölçüyor.
Mühendisler için asıl mesele şu: bu araçların ürettiği ondalıklı, güven aralıklı sayılar bilimsel kesinlik hissi veriyor, ama altındaki veri gürültüden ibaret. Yazar bunu 'hassasiyet aklama' olarak tanımlıyor — boş bir ölçümü yeterince sık tekrarlayıp gürültüyü sıfırlamak, geçerlilik satın almıyor. Şirketlerin bu panellere para akıtmadan önce, ölçtükleri şeyin gerçekten var olup olmadığını sorgulaması gerekiyor.