Le fichier robots.txt, qui permet de bloquer le crawl des moteurs de recherche pour certaines URL ou parties d'un site, a plus de 20 ans : il fut créé le 30 juin 1994 par Martijn Koster. Voici plein de conseils que vous ne connaissiez peut-être pas...
SEO : 20 conseils sur le fichier robots.txt à ne pas rater
Cet article écrit par Olivier Duffez a été publié sur SEO : 20 conseils sur le fichier robots.txt à ne pas rater
Cet article SEO : 20 conseils sur le fichier robots.txt à ne pas rater est apparu en premier sur WebRankInfo.