Mon site de développement est indexé : comment faire ?
Il peut arriver qu’un site de preprod (ou pré-production) se retrouve indexé par Google et donc visible dans les résultats de recherche.
Cela est problématique puisque le site en question a pour but de développer ou tester de nouvelles fonctionnalités sur le site internet, et non pas de recevoir des visiteurs. De plus, son contenu est très souvent une copie du véritable site.
Alors, que faut-il faire lorsque celui-ci est indexé dans les moteurs ?
Comment éviter l'indexation d'un site de pré-production ?
1. Vérifier le fichier robots.txt
Le fichier robots.txt est un fichier situé à la racine de votre site qui indique toutes sortes de directives aux robots des engins de recherche.
Il va falloir s’assurer que ce fichier interdise l’accès aux “crawlers” (ou explorateurs de site).
Exemple : https://dev.exemple.com/robots.txt
User-agent: *
Disallow: /
Si la directive n’était pas présente, cela devrait déjà régler le problème.
2. Ajouter la balise meta robot "noindex"
En prévision du cas où les robots ne suivent pas les directives du fichier robots.txt, il est préférable d’ajouter la balise suivante sur toutes les pages HTML du site.
<meta name="robots" content="noindex">
Pour les fichiers qui ne sont pas HTML (PDF ou autres), il s’agit d’ajouter dans l’en-tête HTTP :
X-Robots-Tag: noindex
3. Ajouter un mot de passe
Il est possible de protéger votre site staging en y ajoutant un mot de passe.
Cela empêche les visiteurs et les robots d’y avoir accès puisqu’il faut connaître le mot de passe. En définitive, votre site de développement ne pourra pas être indexé.
4. Utiliser un accès par adresses IP
Il est possible d’autoriser l’accès à votre site de pré-production uniquement à certaines adresses IP; celles des développeurs et autres personnes qui travaillent sur le site web.
Comment désindexer un site de pré-production ?
Dans le cas où votre site est déjà indexé par les moteurs, voici la démarche afin de réparer cette erreur.
1. Ouvrir tous les accès au site
Peu importe la raison, une erreur a été commise et votre site est déjà indexé.
À l’inverse des sections précédentes, il va donc falloir ouvrir tous les accès à votre site.
Si votre fichier robots.txt n’autorise pas l’exploration des pages du site, les robots ne pourront pas explorer le code source de vos pages.
Dans ce cas de figure, vous devez retirer cette directive et la remplacer par :
User-agent: *
Allow: /
Si vous avez mis en place des protections du site par mot de passe ou adresses IP, il faut désactiver ces protections afin que les robots de Google ou autres moteurs puissent explorer vos pages.
2. S'assurer que la balise meta robot "noindex" soit bien présente
Il faut vérifier que la balise HTML suivante soit présente dans toutes les pages du site :
<meta name="robots" content="noindex">
3. Demander la désindexation dans la Google Search Console
Pour cette étape, rendez-vous dans la navigation de gauche de la Search Console, puis sélectionnez le menu “Suppressions” :
Faites une nouvelle demande de suppression temporaire en sélectionnant “supprimer toutes les URL avec ce préfixe”. Entrez l’adresse URL de votre page d’accueil par exemple.
Même si la demande concerne la suppression temporaire, cela vous permettra de faire disparaître votre site staging des moteurs de recherche et d’implémenter les conseils du point 1 et 2.
3. Surveiller le rapport de couverture des pages
Afin de s’assurer de la désindexation du contenu, surveillez le rapport de la Google Search Console.
Lorsque la totalité de vos pages seront sorties de l’index de Google, vous pourrez remettre en place les directives du robots.txt et autres barrages…
Vous pouvez aussi vérifier l’indexation à travers les résultats de recherche avec la requête “site:www.exemple.com” (en remplacant “exemple.com” par votre nom de domaine évidemment).
CONCLUSION
C’est tout ! Vous savez maintenant comment régler votre problème d’indexation de site en développement. À vous de jouer !
Comme toujours… Bon courage dans vos efforts SEO 😉
Romain Jolibois est un consultant SEO basé à Montréal (QC) qui aide ses clients à bâtir et optimiser leur site web afin d’acquérir plus de visiteurs qualifiés qui restent, reviennent et convertissent! Avec 6 ans d'expérience en marketing digital, Romain a déjà aidé plus de 100 clients avec leur SEO. Il propose désormais ses services de référencement naturel et local dans le but de vous aider à améliorer vos positionnements, votre nombre de visiteurs mensuels, la qualité de votre contenu, et votre chiffre d’affaires.
Partagez cet article
Inscrivez-vous à mon infolettre
Tous mes conseils SEO, aucun spam!
