Google a mis en ligne un post sur son blog pour webmasters afin d'expliquer ce qu'est selon lui le 'budget crawl' alloué à un site pour l'explorer. Des généralités certes, mais qui ont cependant le mérite d'expliquer les fondamentaux du fonctionnement des spiders comme Googlebot...
Pour analyser un site web et mettre à jour son index, ...