Générateur de robots.txt
Créez un fichier robots.txt correct en quelques secondes. Choisissez ce que les moteurs de recherche peuvent explorer, bloquez des dossiers comme /admin/, ajoutez votre sitemap, fixez un délai d’exploration et bloquez si vous le voulez les robots d’entraînement d’IA. Téléchargez-le prêt à envoyer.
robots.txt
Comment utiliser l’outil Générateur de robots.txt
- Choisissez si les robots peuvent visiter tout le site.
- Listez les dossiers ou pages à bloquer, et l’adresse de votre sitemap.
- Téléchargez robots.txt et envoyez-le dans le dossier racine de votre site.
Vos données restent sur votre appareil. Cet outil fonctionne entièrement dans votre navigateur. Rien de ce que vous tapez ou collez n’est envoyé à notre serveur ni enregistré. Lisez notre politique de confidentialité.
Questions fréquentes
Où placer le fichier robots.txt ?
Dans le dossier racine de votre site, pour qu’il s’ouvre à l’adresse example.com/robots.txt. Chez InfinityFree et la plupart des hébergeurs, c’est le dossier htdocs ou public_html.
Le robots.txt cache-t-il des pages à Google ?
Pas complètement. Il demande aux robots de ne pas visiter certaines pages, mais une page bloquée peut quand même apparaître dans les résultats si d’autres sites y renvoient. Pour exclure une page des résultats, utilisez plutôt une balise meta noindex.
Dois-je bloquer les robots d’IA ?
C’est votre choix. Bloquer des robots comme GPTBot et CCBot demande aux entreprises d’IA de ne pas utiliser vos pages pour l’entraînement. Cela n’affecte pas les résultats de Google ou de Bing.