Генератор robots.txt
Создайте правильный файл robots.txt за секунды. Выберите, что могут сканировать поисковики, заблокируйте папки вроде /admin/, добавьте карту сайта, задайте задержку сканирования и при желании заблокируйте краулеры для обучения ИИ. Скачайте готовый к загрузке файл.
robots.txt
Как пользоваться: Генератор robots.txt
- Выберите, могут ли роботы посещать весь сайт.
- Перечислите папки или страницы для блокировки и адрес карты сайта.
- Скачайте robots.txt и загрузите его в корневую папку сайта.
Ваши данные остаются на устройстве. Этот инструмент полностью работает в браузере. То, что вы вводите или вставляете, не отправляется на наш сервер и не сохраняется. Прочитайте нашу политику конфиденциальности.
Частые вопросы
Куда положить robots.txt?
В корневую папку сайта, чтобы он открывался по адресу example.com/robots.txt. На InfinityFree и большинстве хостингов это папка htdocs или public_html.
Скрывает ли robots.txt страницы от Google?
Не полностью. Он просит роботов не посещать страницы, но заблокированная страница всё равно может попасть в результаты, если на неё ссылаются другие сайты. Чтобы исключить страницу из поиска, используйте метатег noindex.
Нужно ли блокировать ИИ-краулеры?
Решать вам. Блокировка роботов вроде GPTBot и CCBot просит ИИ-компании не использовать ваши страницы для обучения. На результаты поиска Google и Bing это не влияет.