Generador de robots.txt
Crea un archivo robots.txt correcto en segundos. Elige qué pueden rastrear los buscadores, bloquea carpetas como /admin/, añade tu sitemap, fija un retraso de rastreo y, si quieres, bloquea los rastreadores de entrenamiento de IA. Descárgalo listo para subir.
robots.txt
Cómo usar Generador de robots.txt
- Elige si los rastreadores pueden visitar todo el sitio.
- Indica las carpetas o páginas a bloquear y la dirección de tu sitemap.
- Descarga robots.txt y súbelo a la carpeta principal de tu sitio web.
Tus datos se quedan en tu dispositivo. Esta herramienta funciona por completo en tu navegador. Nada de lo que escribes o pegas se envía a nuestro servidor ni se guarda. Lee nuestra política de privacidad.
Preguntas frecuentes
¿Dónde va robots.txt?
En la carpeta principal de tu sitio web, para que se abra en example.com/robots.txt. En InfinityFree y la mayoría de los hostings es la carpeta htdocs o public_html.
¿robots.txt oculta páginas de Google?
No del todo. Pide a los rastreadores que no visiten las páginas, pero una página bloqueada puede seguir apareciendo en los resultados si otros sitios la enlazan. Para dejar una página fuera de los resultados, usa una metaetiqueta noindex.
¿Debo bloquear los rastreadores de IA?
Es tu decisión. Bloquear rastreadores como GPTBot y CCBot pide a las empresas de IA que no usen tus páginas para entrenar. No afecta a los resultados de búsqueda de Google ni de Bing.