robots.txt pour les IA : quels bots autoriser pour être cité

C'est l'erreur GEO la plus bête, et la plus répandue : un site invisible dans ChatGPT non pas à cause de son contenu, mais parce qu'un fichier de trois lignes interdit aux robots des IA de le lire. Voici la liste exacte des bots à autoriser en 2026, ce que chacun fait, et un robots.txt prêt à copier.

Avant de pouvoir vous citer, une IA doit pouvoir lire votre site. Et la première porte qu'elle pousse, c'est votre robots.txt : un fichier texte, à la racine de votre domaine, qui dit à chaque robot ce qu'il a le droit de parcourir. Si ce fichier — ou votre hébergeur — bloque les crawlers IA, tout le reste de votre travail GEO est neutralisé d'avance.

Deux familles de robots à ne pas confondre

Tous les bots IA ne font pas la même chose, et c'est la confusion qui pousse certains sites à tout bloquer par précaution. Il y en a deux grandes familles :

• Les bots d'entraînement — ils collectent du texte pour entraîner les modèles. Exemple : GPTBot. Les bloquer n'a aucun impact négatif sur votre visibilité immédiate, c'est un choix légitime si vous ne voulez pas nourrir l'entraînement.
• Les bots de recherche et de réponse — ils vont chercher des pages en direct pour construire une réponse citée, avec un lien. Exemples : OAI-SearchBot, PerplexityBot, Claude-SearchBot. Ce sont eux qui décident si vous apparaissez dans une réponse. Les bloquer, c'est renoncer à être cité.

La nuance compte : vous pouvez très bien refuser l'entraînement tout en autorisant la recherche en direct. Mais la plupart des entreprises veulent surtout être citées — donc l'erreur à éviter absolument, c'est de bloquer la seconde famille.

La liste des bots IA à autoriser en 2026

Note importante : Google-Extended ne contrôle que l'usage IA (Gemini), pas votre référencement Google classique. L'autoriser n'expose donc rien de plus que ce que Googlebot voit déjà ; le bloquer ne fait que vous retirer des réponses Gemini.

Le robots.txt prêt à copier

Voici une base saine pour une entreprise qui veut être lue et citée par les IA, tout en gardant la main sur ses zones sensibles. Adaptez les Disallow à votre site, puis placez le fichier à la racine (votre-domaine.com/robots.txt) :

# robots.txt — autoriser les IA à lire et citer le site
# Bots de recherche/réponse : à autoriser pour être cité
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Allow: /

# Bots d'entraînement : autorisés ici (à passer en Disallow si vous refusez l'entraînement)
User-agent: GPTBot
User-agent: ClaudeBot
Allow: /

# Tout le reste
User-agent: *
Allow: /
Disallow: /panier
Disallow: /compte
Disallow: /admin

Sitemap: https://votre-domaine.com/sitemap.xml

Comment vérifier en 5 minutes

1. Ouvrez votre-domaine.com/robots.txt dans un navigateur et cherchez une ligne Disallow: / visant GPTBot, ClaudeBot ou PerplexityBot.
2. Dans votre tableau de bord d'hébergeur / CDN, cherchez un réglage du type « AI bots », « bot fight mode » ou « block AI scrapers » et regardez s'il est actif.
3. Vérifiez que vos pages clés renvoient bien un code 200 (et pas un blocage 403) lorsqu'elles sont demandées avec le nom d'un de ces bots.
4. Au prochain passage, surveillez vos journaux serveur : voir PerplexityBot ou OAI-SearchBot dans les logs est le signe que la porte est ouverte.

Faut-il vraiment tout autoriser ?

Non — et c'est une vraie décision, pas un réflexe. Un média qui vit de ses pages vues peut légitimement bloquer l'entraînement tout en restant ouvert à la recherche. Une entreprise de services, un e-commerce, une marque locale, eux, ont presque tout à gagner à être cités : la citation IA est devenue un canal d'acquisition à part entière, et elle renvoie souvent un lien cliquable. Pour ces profils, bloquer revient à fermer une vitrine que vos concurrents, eux, laissent ouverte.

La bonne posture n'est donc pas « tout ouvrir » ni « tout fermer », mais : ouvrir aux bots de recherche, choisir consciemment pour l'entraînement, et vérifier qu'aucun pare-feu ne contredit cette décision.