Question du jour et réponse du jour, après quelques longues minutes à chercher la solution :
Est-ce que les caractères russes (cyrillique), japonais ou chinois fonctionnent dans un robots.txt ?
Réponse rapide : NON. Si les url sont bien comprises et interprétées par le navigateur, le spider de Google ne comprendra pas les directives que vous lui donnez si vous copiez collez simplement les URL.
Il vous faudra les encoder, comme avec cet outil.
Ainsi, ne laissez pas ce genre de directives dans le fichier robots.txt :
Disallow: /водка
Cela ne fonctionnera pas. Il faut le convertir pour mettre :
Disallow: /%D0%B2%D0%BE%D0%B4%D0%BA%D0%B0
