Gratuit · sans inscription · avec les règles de Google

Tester, valider et générer un robots.txt

Le robots.txt est un fichier texte placé à la racine de votre site qui indique à Google et aux autres robots les parties qu'ils peuvent explorer. Saisissez votre site et une adresse : nous vous disons si chaque robot peut entrer et quelle ligne en décide.

Comment Google choisit la règle qui s'applique

Un robots.txt est fait de groupes : chacun commence par User-agent et contient des règles Allow (autoriser) et Disallow (ne pas explorer). Google les applique ainsi :

Les erreurs les plus fréquentes

Tout est autorisé et votre site n'apparaît toujours pas ? Lisez pourquoi mon site n'apparaît pas sur Google et vérifiez vos redirections avec le test de redirection.

Questions fréquentes

Où placer le fichier robots.txt ?

À la racine du domaine : https://votresite.fr/robots.txt. Dans un dossier (/blog/robots.txt), il ne sert à rien. Chaque sous-domaine a besoin du sien.

Bloquer une page dans robots.txt la retire-t-elle de Google ?

Non. Si d'autres sites la citent, Google peut l'afficher quand même, sans description. Pour l'exclure, laissez Google l'explorer et ajoutez une balise meta robots « noindex ».

Que se passe-t-il si je n'ai pas de robots.txt ?

Rien de grave : s'il renvoie 404, Google considère qu'il peut tout explorer. Le cas dangereux, c'est une erreur serveur (5xx) : Google arrête alors d'explorer votre site tant qu'elle dure.

Google respecte-t-il Crawl-delay ?

Non. Bing et Yandex oui, mais Google règle sa vitesse lui-même. Si Googlebot surcharge votre serveur, celui-ci peut répondre 503 ou 429 pendant un moment.

Faut-il bloquer ChatGPT et les autres robots d'IA ?

C'est votre choix. Si vous les bloquez (GPTBot, ClaudeBot, Google-Extended…), ils n'utilisent pas votre contenu, mais ils ne vous recommandent ni ne vous citent quand on les interroge. Bloquer Google-Extended ne vous retire pas de la recherche Google.

Pourquoi ce testeur ne dit-il pas la même chose qu'un autre outil ?

Beaucoup d'outils appliquent la première règle qui correspond. Pas Google : la règle la plus longue gagne et, à égalité, celle qui autorise. Ce testeur suit les règles de Google.

Que Google vous voie, c'est la première étape. La deuxième, c'est qu'on vous trouve.

Avec SEOClave, vous voyez combien de personnes recherchent chaque mot clé sur Google en France, s'il est difficile de se classer et qui occupe le top 10 aujourd'hui, en français. À l'inscription, 5 crédits offerts.

Créer mon compte gratuitÊtre référencé sur Google

D'autres outils SEO gratuits