Skip to content
Floskool

Chapter 1 · L'essentiel

Ouvrir la porte : robots.txt et indexation

Free lesson 10 minGroup Claude Code

Follow this course in your space: your progress is saved, and the community answers your questions.

Follow for free

Une IA ne peut pas citer une page qu'elle n'a pas le droit de lire, ni une page que le moteur n'a pas enregistrée. Cette leçon règle les deux : le fichier robots.txt et l'indexation.

Étape 1 : le robots.txt

Le robots.txt est un petit fichier texte à la racine de ton site (ton-site.fr/robots.txt). Il dit à chaque robot ce qu'il a le droit de lire. User-agent donne le nom du robot, Allow: / l'autorise partout, Disallow: / le bloque partout.

Voici un modèle à adapter. Les robots de recherche sont autorisés ; les lignes sur l'entraînement sont mises en commentaire (précédées de #, donc sans effet) : c'est à toi de décider de les activer en retirant le #.

# Robots de recherche : ils servent à te faire apparaître dans les réponses
User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Entraînement des modèles : à toi de choisir (retire le # pour bloquer)
# User-agent: GPTBot
# Disallow: /
# User-agent: ClaudeBot
# Disallow: /
# User-agent: Google-Extended
# Disallow: /

# Tous les autres robots
User-agent: *
Allow: /

Sitemap: https://ton-site.fr/sitemap.xml

Ce qu'il faut savoir avant de choisir :

  • bloquer GPTBot ou ClaudeBot concerne l'entraînement, d'après OpenAI et Anthropic, pas la recherche ;
  • bloquer Google-Extended n'a aucun effet sur la recherche Google, mais limite l'usage de ton contenu pour entraîner Gemini et pour ancrer certaines réponses d'autres produits Google ;
  • les visites à la demande d'un utilisateur (ChatGPT-User, Perplexity-User) peuvent ne pas suivre robots.txt, d'après leurs éditeurs ;
  • si ton site a des sous-domaines, Anthropic rappelle que chaque sous-domaine a son propre robots.txt.

Attention : ton hébergeur ou ton service de protection (pare-feu, anti-robots) peut bloquer des robots même si ton robots.txt les autorise. Google conseille de vérifier aussi de ce côté. Si tu as activé une option du type « bloquer les robots d'IA », regarde ce qu'elle bloque exactement.

Étape 2 : vérifier que Google voit tes pages

Indexée veut dire : enregistrée dans le moteur, prête à être montrée. Google n'utilise pour ses réponses IA que des pages indexées et qui peuvent s'afficher avec un extrait.

  1. Crée un compte Google Search Console (l'outil gratuit de Google pour les propriétaires de sites) et ajoute ton site.
  2. Tape l'adresse de ta page d'accueil dans la barre Inspection de l'URL en haut.
  3. Lis l'état : si la page n'est pas indexée, l'outil dit pourquoi et propose de demander une indexation.
  4. Fais pareil pour tes 3 à 5 pages les plus importantes (services, contact, page « à propos »).
  5. Envoie ton sitemap (la liste de tes pages) dans le menu Sitemaps, s'il existe.

Les noms des menus peuvent changer : si un écran ne correspond pas, cherche « inspection de l'URL » dans l'aide officielle de Search Console.

Étape 3 : chasser le noindex oublié

La balise noindex demande à Google de ne pas afficher une page. Elle est utile pour une page de test, catastrophique sur ta page d'accueil. Elle peut rester active par erreur après une refonte ou une mise en ligne.

Comment vérifier sans coder : demande à Claude de lire le code de ta page (prompt 3 de la leçon 4), ou regarde le résultat de l'inspection de l'URL dans Search Console, qui signale une page exclue par « noindex ».

Les autres réglages qui limitent ce que Google montre : nosnippet (pas d'extrait), max-snippet (extrait limité), data-nosnippet (un passage caché de l'extrait). Ils réduisent aussi ce qui peut être repris dans les réponses IA de Google. Vérifie qu'ils ne sont pas posés sans raison.

Étape 4 : de vrais textes

Google demande que l'information importante soit disponible en texte. Des horaires, des tarifs ou une adresse écrits seulement dans une image ou un PDF scanné sont plus difficiles à reprendre. Écris-les dans la page, en toutes lettres, même si l'image reste.

À toi de jouer

Ouvre ton robots.txt, compare-le au modèle, et note ce qui manque. Puis inspecte ta page d'accueil dans Search Console. Tu as réussi quand ta page d'accueil apparaît comme indexée et que tes quatre robots de recherche sont autorisés.