Testador e gerador de robots.txt

Como o Google decide qual regra vale

Um robots.txt tem grupos: cada um começa com User-agent e segue com regras Allow (permitir) e Disallow (não rastrear). O Google aplica assim:

• O grupo mais específico. O Googlebot-Image usa o grupo Googlebot-Image se existir; senão, o do Googlebot; senão, o *. Só um: os grupos não se misturam.
• A regra mais longa. Com Disallow: / e Allow: /blog, o endereço /blog/meu-artigo está permitido, porque /blog é mais longo.
• No empate, vence a que permite. Allow: /pagina e Disallow: /*.ph têm o mesmo tamanho: /pagina.php fica permitida.
• Curingas. * é “qualquer coisa” e $ é “termina aqui”: Disallow: /*.pdf$ bloqueia os PDFs, mas não /doc.pdf?v=2.

Os erros que mais vemos

• Um Disallow: / esquecido ao passar o site de teste para produção: o Google não vê nada.
• Bloquear CSS ou JavaScript (/wp-includes/, *.js): o Google vê a página quebrada e pode rebaixá-la.
• Usar o robots.txt para tirar páginas do Google. Não funciona: use noindex.
• Um robots.txt que dá erro 5xx. O Google o trata como “não rastreie nada”.

Tudo permitido e o site ainda não aparece? Leia por que o meu site não aparece no Google e confira os redirecionamentos com a ferramenta de verificar redirecionamento.