Grâce à l’utilisation des en-têtes HTTP, vous pouvez maîtriser l’indexation de votre site via l’en-tête via X-Robot-Tag et ce en fonction de différents critères: paramètres d’URL, type de fichiers, protocole utilisé (HTTP vs HTTPS),etc. C’est une méthode simple et rapide pour limiter le contenu dupliqué en empêcher l’indexation de contenus sensibles.
Voici quelques exemples d’utilisation de ces en-têtes HTTP et les quelques lignes à rajouter dans votre configuration d’Apache ou .htaccess: En-têtes HTTP, contenu dupliqué et désindexation