On a bien l’habitude de construire ses fichiers #robots.txt en faisant des copier-coller des différentes adresses à traiter. Sauf que si le développeur a utilisé le titre de la page pour construire l’url et que vous avez une version russe, chinoise ou japonaise du site, vous vous retrouvez avec des url qui comportent des caractères qui ne sont pas compris dans le robots.txt
La solution à ce problème est à un clic de vous