Probador y generador de robots.txt

Cómo decide Google qué regla gana

Un robots.txt tiene grupos: cada uno empieza con User-agent y sigue con reglas Allow (permitir) y Disallow (no rastrear). Google aplica así:

• El grupo más específico. Googlebot-Image usa el grupo Googlebot-Image si existe; si no, el de Googlebot; si no, el de *. Solo uno: no se mezclan.
• La regla más larga. Con Disallow: / y Allow: /blog, la dirección /blog/mi-post está permitida, porque /blog es más largo.
• Si empatan, gana la que permite. Allow: /pagina y Disallow: /*.ph miden lo mismo: /pagina.php queda permitida.
• Comodines. * es «cualquier cosa» y $ «aquí termina»: Disallow: /*.pdf$ bloquea los PDF, pero no /doc.pdf?v=2.

Los errores que más vemos

• Disallow: / olvidado al pasar la web de pruebas a producción: Google no puede ver nada.
• Bloquear CSS o JavaScript (/wp-includes/, *.js): Google ve la página rota y puede bajarla.
• Usar robots.txt para quitar páginas de Google. No funciona: usa noindex.
• Un robots.txt que da error 5xx. Google lo trata como «no rastrees nada».

Para revisar el resto de tu web (títulos, noindex, enlaces rotos), usa la auditoría SEO gratis: también lee tu robots.txt y tu sitemap.