Un « Disallow: / » dans le robots.txt ne protège pas un site en construction. Cette ligne bloque l’exploration, mais elle n’empêche pas Google d’indexer une page découverte via un lien externe, et le résultat est une page vide ou bricolée qui traîne dans les résultats pendant des semaines, parfois même après la mise en ligne officielle. La confusion entre exploration et indexation est fréquente, et elle coûte cher au moment du lancement : mieux vaut comprendre ce mécanisme avant d’ouvrir le site au public.

La différence entre exploration et indexation

Beaucoup de webmasters confondent deux étapes distinctes du travail d’un moteur de recherche. L’exploration, d’abord, c’est le robot qui parcourt le site et lit le code des pages ; l’indexation, ensuite, c’est le moment où le contenu rejoint la base de données du moteur. Un fichier robots.txt agit uniquement sur la première étape : il indique au robot quelles zones il peut visiter, et lesquelles il doit laisser tranquilles.

Une ligne « User-agent: * » suivie de « Disallow: / » bloque tout ce qui est accessible dans le domaine : tous les répertoires, dossiers, pages et fichiers. Le robot repart donc les mains vides, sans avoir lu une seule page.

Mais voilà le piège : s’il tombe sur un lien vers votre site ailleurs sur le web, il peut décider de référencer l’URL sans jamais avoir vu son contenu. Google l’explique noir sur blanc dans sa documentation, et ce scénario se produit plus souvent qu’on ne l’imagine.

Pourquoi un Disallow total n’empêche pas l’indexation

L’instruction Disallow empêche l’exploration du site mais n’empêche pas l’indexation des répertoires et des pages du domaine ; même avec un Disallow total, Google peut toujours potentiellement indexer certaines pages du site. Le robot se contente alors des signaux qu’il a sous la main : le texte du lien qui pointe vers vous, parfois un extrait glané sur un réseau social, ou le simple titre de l’URL. Vous vous retrouvez avec une fiche dans les résultats qui ne ressemble à rien, et personne ne comprend d’où elle sort.

Autre conséquence fâcheuse, moins connue : quand une page bloquée est indexée, Google ne peut pas lire la balise noindex qu’elle contient, puisque justement il ne l’explore pas. La situation se verrouille d’elle-même. Pour en sortir, il faut d’abord lever le blocage, laisser le robot revenir lire la page, puis attendre qu’il constate le signal noindex et retire l’URL. Un aller-retour qui prend du temps, pour une erreur évitable dès le départ.

La balise noindex, plus fiable que le robots.txt

La règle noindex, elle, joue sur le terrain de l’indexation, celui qui nous intéresse. Il s’agit d’un ensemble de règles contenant une balise ou un en-tête de réponse HTTP, qui empêche l’indexation du contenu par les moteurs de recherche qui acceptent cette règle, tels que Google. Lors de la prochaine exploration du contenu par Googlebot, la balise ou l’en-tête noindex sont détectés, et Google exclut totalement la page concernée de ses résultats de recherche, même si d’autres sites contiennent des liens vers celle-ci.

Pour empêcher tous les robots d’indexer certains articles, la balise Meta à utiliser est . La partie nofollow ajoute une consigne : ne suivez pas non plus les liens présents sur cette page. Sur un site en construction, c’est exactement ce qu’on veut, parce que les liens internes pointent souvent vers des pages incomplètes.

Ce que Google accepte et ce qu’il refuse

Une précision qui surprend encore certains développeurs : Google ne permet pas de spécifier la règle noindex dans le fichier robots.txt. Le robots.txt ne gère que l’exploration, jamais l’indexation. Si vous cherchez une commande du type « Noindex: /page » à glisser dans ce fichier, vous ne la trouverez pas, parce qu’elle n’existe pas.

• La balise meta dans l’en-tête de la page fonctionne pour la plupart des moteurs, mais demande d’accéder au code source.
• L’en-tête HTTP offre l’avantage d’être envoyé avant tout contenu visible et reste invisible aux yeux du visiteur.
• L’en-tête de réponse X-Robots-Tag couvre les fichiers non HTML, comme les PDF ou les images, que la balise meta ne peut pas atteindre.
• Un fichier PDF confidentiel peut ainsi être écarté des résultats sans toucher à son contenu.
• Sur un site en construction protégé par mot de passe, la question ne se pose même pas.

Un détail technique à garder en tête : ces deux méthodes exigent que le robot puisse accéder à la page. D’où l’incompatibilité avec un Disallow, qui l’en empêche. Les deux règles se contredisent, et c’est le Disallow qui gagne, au détriment de vos intentions. Le piège est vicieux, car tout semble correct dans le fichier.

La procédure pour un site en construction

La marche à suivre tient en quelques gestes, et elle évite bien des sueurs froides au lancement. Première étape : laissez l’exploration ouverte, sans Disallow global, et posez la balise noindex sur chaque page du site en chantier. Sur un site généré par un CMS, cela passe souvent par une case à cocher dans les réglages ou par un plugin qui gère l’en-tête de toutes les pages d’un coup, ce qui reste plus simple que de modifier chaque gabarit.

Deuxième étape : vérifiez le résultat. L’outil de contrôle d’URL de la Search Console affiche l’en-tête ou la balise détectée, et confirme que l’URL est bien exclue. Si vous voulez comprendre ce qui se passe côté serveur avant que la page ne soit envoyée au navigateur, le guide sur le fonctionnement serveur de webnetcrea.com détaille le trajet d’une requête, ce qui aide à comprendre pourquoi un en-tête HTTP se place avant même le chargement du contenu.

Troisième étape, celle qu’on oublie tout le temps : le jour du lancement, retirez le noindex. Une page oubliée avec sa balise ne remontera jamais dans les résultats, et vous chercherez longtemps pourquoi. Un petit tableau de suivi des URL à débloquer, ou une recherche par lot dans le code, règle le problème en quelques minutes.

Ce qu’il faut retenir avant d’ouvrir au public

Bloquer l’exploration d’un site en construction paraît prudent, mais c’est un raccourci qui se retourne contre son auteur. Le robots.txt ne parle pas d’indexation, et un Disallow total laisse la porte ouverte à une indexation sauvage, sans contenu et sans contrôle. La balise noindex, elle, travaille là où il faut, sur la page elle-même, et produit un résultat prévisible que la Search Console permet de vérifier.

Sur un projet en chantier, cette méthode demande un peu plus de rigueur au départ, puis un nettoyage au lancement. Vous avez déjà vérifié ce que Google a réellement indexé de votre site en construction, ou vous découvrirez la surprise après la mise en ligne ?