Les trois plus grands moteurs de recherche (Google, Yahoo!, Microsoft Live) viennent simultanément de communniquer sur un standard commun concernant le Robots Exclusion Protocol (REP), régissant le contenu du fichier "robots.txt", placé à la racine d'un site (www.votresite.com/robots.txt) et indiquant aux spiders des moteurs de recherche ce qu'ils ne doivent pas faire sur un site web, mais...
Source et suite de l'article : [actu.abondance.com]