Генератор robots.txt

robots.txt с рекомендуемыми базовыми пресетами под WordPress, Joomla, Shopify, Bitrix и другие CMS + блокировка AI-краулеров.

🔒 Пресеты закрывают системные разделы популярных CMS. Проверьте под свой сайт перед публикацией — это шаблон, а не готовое решение на 100%.

Заблокировать AI-краулеры
Отметьте, каким ИИ запретить обход сайта.
robots.txt

Частые вопросы

Что делает robots.txt?

Файл robots.txt в корне сайта подсказывает поисковым роботам, какие разделы можно обходить, а какие нет. Правильный robots.txt экономит краулинговый бюджет и убирает из индекса служебные страницы.

Что дают пресеты под CMS?

Каждая CMS (WordPress, 1C-Bitrix, Joomla, OpenCart, MODX, DLE и др.) имеет свои системные папки и параметры. Пресет сразу закрывает их от индексации — не нужно вспоминать пути вручную.

Нужно ли что-то менять после генерации?

Это шаблон-основа. Проверьте пути под свой сайт, добавьте свои исключения и укажите адрес карты сайта (поле «Домен» подставит строку Sitemap автоматически).

Где разместить файл?

Скачайте robots.txt и положите его в корень сайта, чтобы он открывался по адресу https://вашсайт/robots.txt.