Même si, à première vue, vous pensez connaître le fonctionnement de cet outil, découvrez cet article bien complet sur le fichier robots.txt.
Au sommaire :
- Différence entre crawl et indexation : les notions de crawl et indexation
- Robots.txt : un outil pour gérer le crawl (mais aussi… l’indexation)
- Possibilités offertes par le robots.txt : interdire ou autoriser le crawl d’une ressource, interdire l’indexation, déclarer des sitemaps
- La syntaxe : Documentation officielle, quelques exemples d’utilisation
- Et ça fonctionne vraiment ? Est-ce fiable ?
- Trucs & astuces sur le robots.txt
- Warnings et erreurs courantes
Source et article complet : [nicemedia.fr]