Generador de robots.txt
Genera un archivo robots.txt con reglas allow/disallow y URL de sitemap.
Acerca de esta herramienta
Compón un robots.txt para crawlers: grupos user-agent, rutas allow/disallow, crawl-delay opcional y directiva sitemap. Se ejecuta en local: descarga o copia el archivo.
Qué obtienes
- Bloques User-agent con rutas allow y disallow
- Línea de URL Sitemap
- Copiar o descargar como robots.txt
Cómo usar
Define el user-agent (o * para todos), añade reglas de ruta, URL de sitemap opcional, luego copia o descarga.
FAQ
¿Cómo creo un archivo robots.txt?
Define user-agent, añade rutas allow/disallow, URL de sitemap opcional, luego copia o descarga robots.txt para la raíz de tu sitio.
¿Cómo bloqueo una carpeta en robots.txt?
Añade una línea Disallow con el prefijo de ruta — por ejemplo /admin/ — bajo el grupo User-agent correspondiente.
¿Debo incluir URL de sitemap en robots.txt?
Sí: una directiva Sitemap: ayuda a los crawlers a descubrir tu archivo índice sin adivinar la ruta.
¿Cuál es la diferencia entre allow y disallow?
Disallow indica a crawlers que no obtengan rutas coincidentes; Allow puede anular un Disallow más amplio para subrutas específicas en el mismo grupo.
Al usar esta herramienta aceptas nuestros Términos de uso y la Política de privacidad. Los resultados se ofrecen tal cual, sin garantía.