Pourquoi les robots d'IA comptent
ChatGPT, Claude et Perplexity répondent aux questions en lisant le web. Chacun utilise son propre robot : GPTBot et OAI-SearchBot pour OpenAI, ClaudeBot pour Anthropic, PerplexityBot pour Perplexity. Si votre robots.txt les bloque, vos pages ne peuvent pas être lues, et aucun assistant ne peut vous citer ni vous recommander.
Beaucoup de sites les bloquent sans le savoir : un plugin de sécurité, un réglage de CDN ou un robots.txt copié avec une règle Disallow trop large suffit.
Bots de recherche ou bots d'entraînement
Tous les bots d'IA n'ont pas le même rôle. Les bots de recherche et de réponse (OAI-SearchBot, ChatGPT-User, PerplexityBot) lisent vos pages pour répondre à un utilisateur maintenant : les bloquer vous rend invisible dans les réponses des IA. Les bots d'entraînement (Google-Extended, CCBot, Applebot-Extended, Bytespider) collectent du contenu pour entraîner de futurs modèles : les bloquer est un choix légitime qui ne vous cache pas des réponses d'aujourd'hui.
Ce vérificateur signale le premier groupe comme critique et le second à titre informatif, pour décider en connaissance de cause.
Comment autoriser les robots d'IA dans robots.txt
Ajoutez un groupe explicite par bot à la racine de votre site (https://votre-site.fr/robots.txt). Un Allow explicite l'emporte sur une règle générique pour ce bot :
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /Questions fréquentes
Autoriser GPTBot garantit-il que ChatGPT me cite ?
Non, c'est une condition nécessaire, pas une garantie. Un site bloqué ne peut pas être lu, donc pas cité. Une fois les bots autorisés, la citation dépend de votre contenu et de votre autorité : c'est précisément ce que mesurent les tests de citation de Beakon.
Mon site n'a pas de robots.txt. Est-ce un problème ?
Non : sans robots.txt, tous les robots sont autorisés par défaut. En avoir un reste recommandé, pour indiquer votre sitemap et garder la main.
Un bot peut-il être bloqué en dehors du robots.txt ?
Oui. Un pare-feu, une protection anti-bots de CDN ou une règle serveur peuvent bloquer les robots d'IA même si le robots.txt les autorise. Cet outil vérifie le robots.txt ; un audit Beakon complet va plus loin.