AEO çağında robots.txt: AI botlarını neden engellemeyin
ChatGPT, Claude ve Perplexity'de görünmek isteyen siteler için robots.txt artık farklı işliyor. AEO'nun SEO'dan farkı ve doğru bot yönetimi rehberi.
2026 itibarıyla arama davranışı değişiyor: kullanıcılar Google'da sıralama yerine ChatGPT, Claude veya Perplexity'den doğrudan yanıt alıyor. Bu da klasik SEO mantığının tersine, sitenizin AI botları tarafından taranmasını gerektiren yeni bir disiplin doğuruyor: Answer Engine Optimization (AEO). Her sağlayıcının eğitim, arama-indeksleme ve canlı-erişim için ayrı botları olduğu, tek bir User-agent kuralıyla hepsinin yönetilemeyeceği vurgulanıyor; örneğin GPTBot'u engellemek OAI-SearchBot'u durdurmaz.
robots.txt'nin RFC 9309 ile standart bir kural olsa da yasal bağlayıcılığı olmayan, gönüllü bir istek olduğu hatırlatılıyor. Büyük sağlayıcılar genelde bu kurallara uyarken, bazı crawler'ların user-agent ve IP rotasyonu yaparak engelleri aştığı, bu yüzden gerçek bir blokaj isteniyorsa WAF/CDN katmanında uygulanması gerektiği belirtiliyor. Ayrıca rel="canonical" etiketinin AI botları için 'kaynak doğrulama' sinyali olduğu iddiasının doğrulanamadığı, bunun yerine sunucu tarafında render edilen HTML, schema.org yapılandırılmış verisi ve henüz erken benimsenen llms.txt gibi somut yöntemlerin daha güvenilir olduğu anlatılıyor.
En kritik pratik uyarı, CDN ayarlarının (örneğin Cloudflare bot yönetimi) robots.txt dosyasından bağımsız olarak botları sessizce engelleyebilmesi. Bu da niyet edilen politika ile gerçek davranış arasında fark yaratabiliyor. Yazı, mühendisler için hem doğru bot bazlı robots.txt yapılandırması hem de sunucu loglarında 403 hatalarını kontrol ederek görünürlük kayıplarını tespit etme önerisiyle sonlanıyor.