Google rappelle qu'il ne lit que les premiers 500 kilo-octets du fichier robots.txt d'un site web, ce qui doit logiquement correspondre à l'immense majorité des cas...
John Mueller, Webmaster Trends Analyst chez Google Zurich, rappelle sur son profil Google+ que les robots de Google n'analysent que les 500 premiers kilo-octets du fichier robots.txt d'un site web, comme le rappelle l'aide en ligne