Chapter 1 · L'essentiel
Le vrai et le faux, sources à l'appui
Follow this course in your space: your progress is saved, and the community answers your questions.
Follow for freeAvant de toucher à ton site, il faut savoir comment une IA trouve une page. Il y a deux grands chemins :
- la recherche : l'IA (ou le moteur) a un robot qui parcourt le web et range les pages, puis il pioche dedans pour répondre et cite ses sources ;
- la visite à la demande : quand quelqu'un pose une question, l'outil va lire une page précise sur le moment.
À côté, certains robots collectent des pages pour entraîner les modèles. Ce sont trois usages différents, avec des robots différents. C'est la clé de toute la suite.
Ce que dit Google
Google a une page officielle sur ses fonctionnalités IA de la recherche (les aperçus IA et le mode IA, là où ils sont proposés). Ce qu'elle dit, en clair :
- Il n'y a aucune exigence en plus pour apparaître dans ces réponses. Les bonnes pratiques habituelles du référencement continuent de s'appliquer.
- Pour être utilisée, une page doit être indexée (enregistrée par Google) et pouvoir s'afficher avec un extrait dans la recherche.
- Pas besoin de créer de nouveaux fichiers lisibles par les machines, de fichiers texte pour l'IA ni de balisage spécial.
- Google rappelle que rien n'est garanti, même quand tout est bien fait.
- Les visites qui viennent de ces réponses sont comptées avec le reste dans Search Console, rapport Performance, type de recherche « Web ».
Les conseils qu'elle liste sont des bases : laisser Google explorer (dans le robots.txt, mais aussi chez ton hébergeur ou ton service de protection), faire des liens entre tes pages, écrire l'important en texte, soigner l'expérience de la page, ajouter de bonnes images, vérifier que tes données structurées correspondent au texte visible, et garder ta fiche d'établissement à jour.
Ce que disent OpenAI, Anthropic et Perplexity
Chaque éditeur publie la liste de ses robots. Voici le tableau, tel qu'il ressort de leurs pages officielles :
| Éditeur | Robot | À quoi il sert | Si tu le bloques |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Faire apparaître les sites dans la recherche de ChatGPT | Ton site peut ne plus sortir dans la recherche de ChatGPT |
| OpenAI | GPTBot | Collecter du contenu qui peut servir à l'entraînement | Ton contenu ne doit pas servir à l'entraînement ; sans effet sur la recherche, chaque réglage est indépendant |
| OpenAI | ChatGPT-User | Visiter une page quand un utilisateur le demande | La documentation prévient que robots.txt peut ne pas s'appliquer |
| Anthropic | Claude-SearchBot | Indexer les pages pour la recherche de Claude | Ta visibilité et la précision dans ses résultats peuvent baisser |
| Anthropic | Claude-User | Lire une page quand un utilisateur pose une question | Claude ne récupère plus ta page pour ces questions |
| Anthropic | ClaudeBot | Collecter du contenu qui peut servir à l'entraînement | Tes futurs contenus sont exclus de l'entraînement |
| Perplexity | PerplexityBot | Faire apparaître et relier les sites dans les résultats de Perplexity (pas d'entraînement) | Perplexity recommande de l'autoriser |
| Perplexity | Perplexity-User | Visiter une page pour répondre à un utilisateur | D'après sa documentation, il ignore en général robots.txt |
| Googlebot | Explorer pour la recherche Google, aperçus IA compris | Tu sors de la recherche Google | |
| Google-Extended | Pas un robot à part : un réglage dans robots.txt pour l'entraînement de Gemini et l'ancrage de réponses dans d'autres produits Google | Aucun effet sur ta présence ni ton classement dans la recherche Google |
À retenir : les robots de recherche sont ceux qui comptent pour être cité. Les robots d'entraînement sont une autre décision, que tu peux prendre séparément. OpenAI précise qu'un changement de robots.txt met environ 24 heures à être pris en compte pour sa recherche.
Ce qui relève du marketing
| On te dit | En vrai |
|---|---|
| « Il faut un fichier spécial pour les IA. » | Google dit le contraire pour ses réponses IA. Les autres éditeurs, dans les pages lues, parlent de robots.txt, pas d'un fichier en plus. |
| « Nous garantissons votre citation dans ChatGPT. » | Aucun éditeur ne promet de place. Google écrit que rien n'est garanti. |
| « Il faut écrire pour les robots. » | Google conseille un contenu utile, écrit d'abord pour les gens. |
| « Il faut refaire tout le site. » | Les bases du référencement suffisent pour commencer : pages indexées, texte clair, infos à jour. |
| « Bloque les IA pour protéger ta place sur Google. » | Google-Extended n'a aucun effet sur la recherche Google ; bloquer Googlebot, si. |
Astuce : quand quelqu'un te vend une méthode, demande-lui la page officielle qui la confirme. S'il n'y en a pas, c'est une hypothèse, pas une règle.
À toi de jouer
Ouvre ton site et ajoute /robots.txt à la fin de l'adresse (par exemple ton-site.fr/robots.txt). Note quels robots y sont nommés et s'ils sont autorisés (Allow) ou bloqués (Disallow). Tu as réussi quand tu sais dire, pour chacun des robots de recherche du tableau, s'il peut lire ton site.