ChatGPT, Claude, Perplexity ve Google'ın yapay zekâ botları sitenize erişebiliyor mu? 10 saniyede, ücretsiz öğrenin.
ChatGPT, Claude ve Perplexity gibi asistanlar, soruları cevaplarken internetteki sayfaları o an okur. robots.txt dosyanız ya da güvenlik duvarınız bu botları engelliyorsa sitenizi okuyamazlar; sizi kaynak göstermeleri ya da önermeleri de neredeyse imkânsız hale gelir. Yapay zekâ cevaplarında görünmenin ilk şartı, sitenizin okunabilmesidir.
Yapay zekâ şirketleri farklı işler için farklı botlar kullanır. Arama ve kullanıcı botları (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User) bir soruyu o an cevaplamak için sayfanızı okur; bunları engellemek görünürlüğünüzü doğrudan düşürür. Eğitim botları (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent) ise model eğitmek için veri toplar. Bunları engellemek sizin tercihinizdir ve sizi yapay zekâ cevaplarından doğrudan çıkarmaz.
llms.txt, sitenizin ana dizinine koyduğunuz kısa bir metin dosyasıdır. Yapay zekâya kim olduğunuzu anlatır ve en önemli sayfalarınızı gösterir. Henüz resmi bir standart değil ve her yapay zekâ kullanmıyor, ama eklemesi birkaç dakikanızı alır.
Doğrudan çıkmazsınız. GPTBot yalnızca eğitim verisi toplar. ChatGPT'nin arama özelliği OAI-SearchBot ve ChatGPT-User botlarını kullanır. Cevaplarda görünmek istiyorsanız bu ikisine izin vermeniz yeterli.
robots.txt kontrolü standart kurallara göre yapılır ve güvenilirdir. Canlı istek testini ise botların gerçek IP adreslerinden değil, kendi sunucumuzdan yapıyoruz. IP doğrulaması yapan güvenlik duvarları gerçek botlara farklı davranabilir; bu kısmı fikir vermesi için kullanın.
Googlebot, AI Overviews ve AI Mode dahil Google aramasının tamamı için sitenizi tarar. Google-Extended ise yalnızca içeriğinizin Gemini modellerini eğitmekte kullanılıp kullanılamayacağını belirler.
Şart değil. Her yapay zekâ henüz kullanmıyor, ama önemli sayfalarınızı göstermenin zahmetsiz bir yolu.
Olabilir. Yapay zekâ botlarının çoğu JavaScript çalıştırmaz. Ana sayfanızın ham HTML'inde çok az metin varsa, önemli içeriğin sunucu tarafında oluşturulması gerekir.