Depuis 2012 environ, il est parfois difficile de comprendre si Google respecte vraiment bien les directives du fichier robots.txt (qui interdit l'accès aux URL, c'est-à-dire leur crawl, et donc leur indexation). Certaines pages peuvent désormais être trouvables dans Google sans que Google les ait crawlées : elles sont ni indexées ni inconnues... Ce dossier fait le point sur ce sujet.
Google : crawl et indexation malgré interdiction via robots.txt ?
Cet article écrit par Olivier Duffez a été publié sur Google : crawl et indexation malgré interdiction via robots.txt ?