Le crawler Screaming Frog remplace avantageusement d’autres logiciels comme Xenu. En plus d’être plus complet, il est également disponible sur Mac et PC. L’éditeur propose une version gratuite qui est limitée à 5000 URLs. C’est pas toujours suffisant mais cela permet de tester les fonctionnalités. Si vous passer en version payante, vous pouvez facilement crawler des sites ayant des milliers de pages. Le seul problème que vous risquez de rencontrer, mis à part un blocage côté serveur si votre crawl est trop rapide, est la limitation mémoire de votre machine. Voici une astuce toute simple qui va vous permettre d’augmenter la mémoire vive allouée au crawl et qui n’est pas indiquée sur le site officiel.
Source : [searchresult.fr]