Gerador de robots.txt
Gere um arquivo robots.txt com regras allow/disallow e URL de sitemap.
Sobre esta ferramenta
Componha robots.txt para crawlers: grupos user-agent, caminhos allow/disallow, crawl-delay opcional e diretiva sitemap. Roda localmente — baixe ou copie o arquivo.
O que você obtém
- Blocos User-agent com caminhos allow e disallow
- Linha de URL do Sitemap
- Copiar ou baixar como robots.txt
Como usar
Defina o user-agent (ou * para todos), adicione regras de path, URL de sitemap opcional, depois copie ou baixe.
FAQ
Como criar arquivo robots.txt?
Defina user-agent, adicione caminhos allow/disallow, URL de sitemap opcional, depois copie ou baixe robots.txt para a raiz do site.
Como bloquear uma pasta no robots.txt?
Adicione linha Disallow com o prefixo de path — por exemplo /admin/ — no User-agent group relevante.
Devo incluir URL de sitemap no robots.txt?
Sim — a diretiva Sitemap: ajuda crawlers a descobrir seu índice sem adivinhar o caminho.
Qual a diferença entre allow e disallow?
Disallow diz aos crawlers para não buscar paths correspondentes; Allow pode sobrepor um Disallow mais amplo no mesmo grupo.
Ao usar esta ferramenta você concorda com nossos Termos de uso e a Política de privacidade. Os resultados são fornecidos como estão, sem garantia.