S’il y a bien une erreur courante sur beaucoup de sites clients, c’est l’indexation des environnements de préprod…
Il existe 3 façons efficaces de ne pas indexer votre environnement de préprod : Restriction par user/mot de passe, Restriction de l’adresse IP, Ajout d’une meta robot.
En revanche, ne comptez pas sur votre fichier robots.txt pour interdire l’accès de votre préprod aux moteurs…
Source et article complet : [blog.ramenos.net]