Un googler a indiqué sur un forum que, si le robot du moteur avait des soucis pour lire votre fichier robots.txt, le crawl du site s'arrêtait instantanément...
Une information importante, relayée par le site Search Engine Roundtable a été donnée par un googler du nom de Eric Kuan sur un forum d'aide aux webmasters : si ...