Генератор robots.txt
Генерация robots.txt с правилами allow/disallow и URL sitemap.
Об инструменте
Соберите robots.txt для краулеров: группы user-agent, allow/disallow, опциональный crawl-delay и директива sitemap. Локально — скачайте или скопируйте файл.
Что показывает
- Блоки User-agent с allow и disallow
- Строка URL sitemap
- Копирование или скачивание как robots.txt
Как пользоваться
Укажите user-agent (или * для всех), добавьте правила путей, опционально URL sitemap, затем скопируйте или скачайте.
Частые вопросы
Как создать robots.txt?
Укажите user-agent, добавьте allow/disallow, опционально URL sitemap, затем скопируйте или скачайте robots.txt в корень сайта.
Как заблокировать папку в robots.txt?
Добавьте Disallow с префиксом пути — например /admin/ — в нужной группе User-agent.
Нужно ли указывать sitemap URL в robots.txt?
Да — директива Sitemap: помогает краулерам найти index file без угадывания пути.
Чем отличаются Allow и Disallow?
Disallow запрещает обход matching paths; Allow может переопределить более широкий Disallow для конкретных подпутей в той же группе.
Используя этот инструмент, вы соглашаетесь с Условиями использования и Политикой конфиденциальности. Результаты предоставляются «как есть», без гарантий.