Je vous explique aujourd’hui X-robots-tag, c’est une technique permet de bloquer les robots dans l’entête « http:// », c’est une directive optionnelle pouvant se trouver dans l’entête « http » d’une page web au même titre que la directive Server.
L’objectif de mise en place de cette directive est de proposer un moyen unique et supplémentaire de contrôle du passage des robots d’indexation sur un site.
Source: [community.capseo.com]