Canaux
107925 éléments (107925 non lus) dans 10 canaux
Abondance
-
Un internaute vient de découvrir que Google prenait en compte une directive nommée "noindex" lorsqu'elle était insérée dans le fichier "robots.txt" d'un site, comme par exemple :
User-agent:Googlebot
Disallow:/perso/
Disallow:/entravaux/
Noindex:/clients/
Alors que la directive "Disallow" indique aux robots de ne pas tenir compte du contenu d'un répertoire (pas d'indexation, pas de suivi des