Crawlers IA, robots.txt et llms.txt : le guide GEO

En bref

Les crawlers IA sont des robots qui parcourent votre site pour le compte d'un service d'intelligence artificielle, soit pour entraîner des modèles, soit pour indexer des pages citables dans des réponses, soit pour aller lire une page à la demande d'un utilisateur. Pour être cité par ChatGPT, Gemini ou Perplexity, il faut au minimum laisser passer les robots de recherche et de récupération dans votre robots.txt et votre pare-feu, quitte à bloquer ceux qui servent uniquement à l'entraînement. Le fichier llms.txt, lui, reste une proposition non standardisée : utile en complément, jamais à la place des bases.

Par l'équipe GEO d'AdsMirable, agence spécialisée en SEO et GEO. Mis à jour le 17 octobre 2026.

Beaucoup d'entreprises travaillent leurs contenus pour apparaître dans les réponses des IA, sans vérifier un point élémentaire : les robots de ces IA peuvent-ils seulement lire leur site ? Entre un robots.txt copié d'un modèle, un pare-feu qui bloque les robots inconnus et un site entièrement rendu en JavaScript, il est fréquent qu'une marque soit invisible pour une IA sans le savoir. Ce guide fait le point sur les robots à connaître, les réglages recommandés et la place réelle du llms.txt.

Qu'est-ce qu'un crawler IA ?

Un crawler IA est un programme automatisé, identifié par un nom d'agent utilisateur (user-agent), qui télécharge des pages web pour un acteur de l'IA. On en distingue trois familles, et la distinction est essentielle pour vos réglages :

Robots d'entraînement : ils collectent des contenus pour entraîner ou améliorer des modèles. Les bloquer n'empêche généralement pas d'être cité dans les réponses avec recherche web.

Robots de recherche : ils indexent des pages pour les proposer comme sources dans les réponses. Les bloquer réduit fortement vos chances d'être cité.

Robots de récupération à la demande : ils lisent une page précise quand un utilisateur la demande ou quand l'assistant en a besoin pour répondre.

Les principaux robots à connaître

D'après la documentation publique de chaque éditeur :

OpenAI : GPTBot pour l'entraînement des modèles, OAI-SearchBot pour l'affichage de sites dans les résultats de recherche de ChatGPT, ChatGPT-User pour les visites déclenchées par un utilisateur, et OAI-AdsBot, qui vérifie les pages de destination des annonces ChatGPT Ads.

Google : Googlebot alimente la recherche Google, y compris les Aperçus IA et le Mode IA. Google-Extended n'est pas un robot distinct mais un jeton du robots.txt : il permet de refuser l'usage de vos contenus pour entraîner les modèles Gemini et pour l'ancrage (grounding) dans l'application Gemini et Vertex AI, sans effet sur l'inclusion ni le classement dans la recherche Google.

Perplexity : PerplexityBot pour l'indexation des sources affichées dans Perplexity (l'éditeur précise qu'il ne sert pas à entraîner des modèles), Perplexity-User pour les visites liées à une question d'utilisateur.

Anthropic : ClaudeBot pour l'entraînement, Claude-SearchBot pour la recherche, Claude-User pour les récupérations à la demande.

Microsoft : selon les consignes de Bing, Copilot repose sur le même socle d'exploration et d'indexation que Bing. Bloquer Bingbot revient donc à sortir de Copilot.

Apple : Applebot-Extended, lui aussi un simple jeton, permet de refuser l'usage de vos contenus pour entraîner les modèles d'Apple, tandis qu'Applebot continue d'indexer pour Spotlight, Siri et Safari.

Ces noms évoluent : vérifiez la documentation officielle avant de modifier votre fichier, et relisez-la au moins une fois par trimestre. Notez aussi qu'OpenAI indique que les règles du robots.txt peuvent ne pas s'appliquer à ChatGPT-User, et Perplexity que Perplexity-User les ignore généralement, puisque ces visites sont demandées par un utilisateur. Anthropic, de son côté, indique que ses trois robots respectent le robots.txt.

Bloquer l'entraînement sans disparaître des réponses

Le réglage le plus courant chez nos clients est un compromis : autoriser les robots de recherche et de récupération, et décider au cas par cas pour les robots d'entraînement. Dans le robots.txt, cela se traduit par des groupes de règles par agent :

Un groupe pour OAI-SearchBot, PerplexityBot et Claude-SearchBot avec une autorisation d'accès au site, hors zones privées.

Un groupe pour GPTBot, ClaudeBot et Applebot-Extended avec une interdiction, si vous refusez l'entraînement. Réfléchissez à deux fois pour Google-Extended : il couvre aussi l'ancrage dans l'application Gemini, et le bloquer peut réduire votre présence dans ses réponses, hors recherche Google.

Un groupe général pour tous les autres robots, avec vos règles SEO habituelles.

Ce choix est stratégique, pas technique. Un média qui vend ses contenus n'aura pas la même position qu'une agence ou un éditeur de logiciel qui cherche à être recommandé. Pour une entreprise qui vit de sa notoriété et de ses leads, être lu par les IA est généralement un avantage. Rappel utile : le robots.txt est un protocole de bonne conduite, standardisé par la RFC 9309. Il indique vos préférences, il ne protège pas techniquement un contenu.

llms.txt : utile ou non ?

Le llms.txt est une proposition publiée en septembre 2024 par Jeremy Howard (Answer.AI) : un fichier en Markdown placé à la racine du site, qui présente la société et liste les pages les plus utiles pour un modèle de langage. L'idée est séduisante, mais trois limites s'imposent :

Ce n'est pas un standard officiel, mais une proposition ouverte, passée en version 2 en août 2026. Son auteur revendique des milliers de sites adoptants, mais à notre connaissance, aucun grand assistant n'a documenté s'en servir pour choisir les sources qu'il cite.

En juillet 2025, Gary Illyes (Google) a déclaré que Google ne prend pas en charge le llms.txt et ne prévoit pas de le faire.

Il ne remplace ni l'accessibilité du site, ni la qualité des contenus, ni les signaux de confiance.

Notre position : le llms.txt ne coûte presque rien à créer et ne présente pas de risque, vous pouvez donc le publier. Mais si votre budget est limité, il passe après tout le reste de cet article.

Les blocages invisibles : CDN, pare-feu et JavaScript

Pare-feu et protections anti-bots

De nombreux CDN et pare-feu applicatifs proposent désormais de bloquer les robots d'IA en un clic. Cloudflare a ainsi annoncé le 1er juillet 2025 bloquer par défaut les robots d'IA qui accèdent aux contenus sans autorisation, les propriétaires de sites choisissant ensuite lesquels laisser passer. Perplexity documente d'ailleurs comment autoriser ses robots dans les pare-feu. Votre robots.txt peut donc tout autoriser alors que votre infrastructure renvoie une erreur 403. Vérifiez les réglages de bots de votre hébergeur et de votre CDN.

Sites rendus en JavaScript

Tous les robots ne rendent pas le JavaScript aussi bien que Googlebot, et Bing recommande explicitement de ne pas cacher le contenu essentiel derrière un rendu côté client. Un site dont le texte n'apparaît qu'après exécution de scripts risque donc de rester partiellement vide pour certains robots. Le rendu côté serveur ou la prégénération des pages importantes (services, articles, FAQ) est la parade la plus fiable. C'est un point que nous contrôlons systématiquement lors d'un audit SEO, et qui recoupe les enjeux de performance décrits dans notre article sur les Core Web Vitals.

Vérifier dans vos logs serveur

Les journaux de votre serveur ou de votre CDN montrent quels robots passent réellement, à quelle fréquence et avec quel code de réponse. Filtrez sur les noms d'agents cités plus haut et cherchez trois signaux : des visites régulières des robots de recherche, des codes 200 sur vos pages clés, et l'absence de 403 ou de 429 en série. Attention, un user-agent peut être usurpé : OpenAI et Perplexity publient des plages d'adresses IP permettant de vérifier qu'une visite est authentique. Ces données complètent les KPI décrits dans notre guide Mesurer sa visibilité dans ChatGPT, Gemini et Perplexity.

Méthode : ouvrir votre site aux IA en 6 étapes

Faire l'inventaire de vos règles actuelles : robots.txt, balises meta robots, en-têtes X-Robots-Tag, réglages du CDN.

Décider de votre politique par famille de robots : recherche, récupération, entraînement.

Mettre à jour le robots.txt par groupes d'agents et le tester.

Vérifier que le pare-feu et le CDN n'annulent pas ces règles.

Contrôler que vos pages clés sont lisibles sans JavaScript.

Suivre les visites des robots dans vos logs, notifier vos nouvelles pages via IndexNow, que Bing recommande, puis suivre vos citations dans les réponses des IA.

L'accès n'est que la première marche. Pour être effectivement cité, le contenu doit ensuite répondre clairement aux questions, citer des sources et démontrer une expertise, comme nous l'expliquons dans Apparaître dans ChatGPT : le guide complet 2026 et Apparaître dans Google Gemini : tactiques GEO avancées. Et si vous souhaitez aussi apparaître en payant dans ChatGPT, la publicité obéit à d'autres règles : voir Annonces ChatGPT Ads : rédiger des publicités conversationnelles qui convertissent.

Questions fréquentes

Bloquer GPTBot m'empêche-t-il d'apparaître dans ChatGPT ?

Non, selon la documentation d'OpenAI : les deux réglages sont indépendants. GPTBot concerne l'entraînement, tandis que l'affichage dans les résultats de recherche de ChatGPT dépend d'OAI-SearchBot. Un site qui bloque OAI-SearchBot n'apparaît plus dans les réponses de recherche, sauf comme simple lien de navigation.

Google-Extended a-t-il un effet sur mon référencement Google ?

Non. Google indique que Google-Extended n'a aucune incidence sur l'inclusion dans la recherche Google et n'est pas un signal de classement. En revanche, il concerne l'ancrage dans l'application Gemini.

Faut-il créer un fichier llms.txt ?

Vous pouvez, car il est simple et sans risque, mais ce n'est pas un standard et son effet n'est pas démontré. Priorisez l'accessibilité et la qualité des contenus.

Comment savoir si les robots d'IA visitent mon site ?

En analysant vos logs serveur ou CDN par user-agent, et en vérifiant les adresses IP avec les plages publiées par OpenAI et Perplexity.

Le robots.txt protège-t-il mes contenus ?

Non. C'est une consigne que les robots sérieux respectent, pas une protection technique. Pour un contenu réellement privé, utilisez une authentification.

Faites auditer votre accessibilité aux IA

Votre site est-il réellement lisible par ChatGPT, Gemini, Perplexity et Claude ? L'équipe GEO d'AdsMirable vérifie vos règles d'accès, vos logs, le rendu de vos pages et vos citations, puis vous remet un plan priorisé. Découvrez notre approche GEO ou demandez un audit gratuit.

Sources

OpenAI, « Overview of OpenAI Crawlers » : https://platform.openai.com/docs/bots

Google, « Robots d'exploration communs de Google » (dont Google-Extended) : https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=fr

Google Search Central, « Fonctionnalités d'IA et votre site Web » : https://developers.google.com/search/docs/appearance/ai-features?hl=fr

Perplexity, « Perplexity Crawlers » : https://docs.perplexity.ai/guides/bots

Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? » : https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

Apple, « About Applebot » : https://support.apple.com/en-us/119829

Bing Webmaster Tools, « Bing Webmaster Guidelines » : https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a

Jeremy Howard, « The /llms.txt file » : https://llmstxt.org/

Search Engine Land, « Google says normal SEO works for ranking in AI Overviews and LLMS.txt won't be used », 24 juillet 2025 : https://searchengineland.com/google-says-normal-seo-works-for-ranking-in-ai-overviews-and-llms-txt-wont-be-used-459422

Cloudflare, communiqué du 1er juillet 2025 sur le blocage par défaut des robots d'IA : https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/

RFC Editor, RFC 9309 « Robots Exclusion Protocol » : https://www.rfc-editor.org/rfc/rfc9309

Crawlers IA, robots.txt et llms.txt : ouvrir votre site à ChatGPT, Gemini et Perplexity