Le fichier robots.txt, qui permet de bloquer le crawl des moteurs de recherche pour certaines URL ou parties d'un site, fête ses 20 ans : il fut créé le 30 juin 1994 par Martijn Koster. Voici plein de conseils que vous ne connaissiez peut-être pas...
Les 20 ans du fichier robots.txt : nombreux conseils SEO
Cet article écrit par Olivier Duffez a été publié sur Les 20 ans du fichier robots.txt : nombreux conseils SEO