Testeur et Validateur Robots.txt Gratuit
Testez et validez n’importe quel fichier robots.txt en temps réel. Vérifiez si Googlebot, Bingbot et les bots d’IA comme GPTBot ou Claude peuvent explorer vos URLs, détectez les erreurs de syntaxe et testez vos modifications en direct.
Testez et validez votre robots.txt
Analysez le robots.txt en direct de votre site ou collez vos directives pour vérifier les accès avant publication.
La confiance, partout
Des milliers de pros SEO
Des consultants solo aux agences internationales, les équipes choisissent TrueRanker pour unifier SEO et visibilité IA.
Comment tester et valider votre robots.txt en trois étapes
Récupérez le fichier en direct depuis un domaine ou collez votre brouillon pour tester vos règles avant déploiement.
Indiquez votre domaine ou collez le texte
Saisissez l’URL de votre site pour analyser le robots.txt en ligne, ou basculez en mode collage pour tester vos règles avant mise en production.
Testez des URLs et des User-Agents précis
Sélectionnez un robot comme Googlebot, Bingbot, GPTBot ou ClaudeBot, entrez une URL et découvrez instantanément si l’accès est Autorisé ou Bloqué selon la RFC 9309.
Corrigez la syntaxe et éditez en direct
Repérez les erreurs de syntaxe, directives obsolètes et sitemaps déclarés. Modifiez le fichier dans l’éditeur en ligne et téléchargez le résultat propre.
Ce que l’outil analyse dans votre robots.txt
Six vérifications clés basées sur les spécifications RFC 9309 et les standards des moteurs de recherche.
Validation de syntaxe RFC 9309
Identifie les deux-points manquants, règles orphelines sans User-agent préalable, directives inconnues et formats de ligne invalides.
Priorité de la règle la plus longue
Applique la section 2.2.2 de la RFC 9309 : le motif le plus long l’emporte, et Allow prévaut sur Disallow en cas d’égalité parfaite.
Caractères génériques et ancres de fin
Évalue avec exactitude les jokers * et les ancres de fin $ face aux URLs avec paramètres de requête.
Matrice moteurs classiques vs bots IA
Audite en simultané les règles pour les moteurs traditionnels (Googlebot, Bingbot) et les robots d’IA générative (GPTBot, ClaudeBot, PerplexityBot).
Déclarations de sitemaps XML
Détecte et valide toutes les directives Sitemap: pour vous assurer que les robots découvrent vos pages canoniques.
Alertes de blocage total et taille limite
Vous avertit si un Disallow: / bloque par erreur l’ensemble du site ou si la taille dépasse la limite Google de 512 Kio.
Le robots.txt contrôle l’exploration, pas l’indexation
Une confusion fréquente en SEO technique consiste à penser qu’une règle Disallow dans le robots.txt supprime une page de l’index Google. Ce n’est pas le cas : elle empêche seulement les robots de télécharger le contenu.
Si une page bloquée possède des liens entrants, Google peut tout de même indexer son URL et son titre sans explorer son corps. Pour empêcher totalement l’indexation, la page doit rester accessible pour que Googlebot puisse lire une balise meta robots noindex ou un en-tête X-Robots-Tag.
Depuis septembre 2019, Google ne prend plus en compte la directive noindex dans le robots.txt. Cet outil signale ces directives obsolètes pour que votre fichier respecte les standards actuels.
- Le robots.txt préserve votre budget de crawl et la bande passante
- Bloquer une URL ne garantit pas son absence des résultats Google
- Utilisez meta robots noindex sur des pages explorables pour exclure de l’index
- Les déclarations de sitemap aident les moteurs à explorer vos contenus essentiels
Erreurs fréquentes en robots.txt
- Utiliser Disallow pour désindexer une page
- Écrire noindex dans le robots.txt (ignoré par Google)
- Bloquer par erreur des fichiers CSS, JS ou images nécessaires au rendu
- Bloquer Googlebot en voulant simplement bloquer les scrapers d’IA
Au-delà du robots.txt : suivi de positions et audit technique en continu
Valider votre robots.txt garantit que les moteurs accèdent à vos URLs. Mais pour mesurer la performance réelle de vos pages dans Google et les réponses d’IA, un suivi constant est indispensable.
TrueRanker suit quotidiennement le positionnement de vos mots-clés sur ordinateur et mobile, audite vos erreurs techniques on-page, surveille vos backlinks et analyse votre visibilité dans ChatGPT, Claude et Gemini.
- Suivi quotidien géolocalisé au niveau de la ville et du code postal
- Audit SEO automatique : liens brisés, balises dupliquées et erreurs de crawl
- Suivi de la visibilité IA : citations et mentions de marque dans les LLMs
- Alertes instantanées en cas de chute de position ou de page critique bloquée
Ce que TrueRanker surveille
- Positions quotidiennes dans Google avec détection des fonctionnalités SERP
- Mentions et citations de votre marque dans ChatGPT, Claude et Gemini
- Gains et pertes de backlinks ainsi que profils de domaines référents
- Erreurs techniques SEO on-page sur toutes vos URLs
Ce que disent les experts SEO et agences qui utilisent TrueRanker
« Avec TrueRanker, je gère le SEO de mes projets. C’est un outil indispensable pour suivre au quotidien l’effet de nos changements On-Page et de nos stratégies de netlinking. ✌🏼 »
« Je ne sais pas comment je faisais sans TrueRanker. C’est devenu mon outil de suivi de positions SEO au quotidien pour tous mes projets et mes extensions Chrome, ce qu’aucun autre outil ne peut faire. Je le recommande vivement ! »
« TrueRanker est un super outil que j’utilise avec des clients et sur mes propres projets, parce qu’on n’améliore pas ce qu’on ne mesure pas. »
« Le meilleur outil pour le suivi, un support très amical et ouvert aux changements et aux améliorations. Vous pouvez vraiment en tirer d’excellents résultats… et je pèse mes mots. »
« J’utilise TrueRanker depuis 2022 pour le suivi de mots-clés, et aujourd’hui c’est l’un de mes principaux outils SEO. Il gère avec précision les positions, le suivi des concurrents, les audits SEO et la visibilité IA, à la place d’alternatives plus chères. En plus, leur support client est excellent. Je le recommande vivement ! »
« Nous comparons régulièrement les outils de suivi de mots-clés, et depuis plus de trois ans TrueRanker est le premier choix de notre agence SEO. Son interface intuitive, ses offres évolutives et son support réactif nous donnent tout ce qu’il faut pour suivre les positions de nos clients avec précision. »
« J’utilise TrueRanker depuis août sur mon propre blog. Ce que j’apprécie le plus, c’est qu’il me dit chaque jour ce qui s’est passé avec ce que j’ai déjà publié, et la note GEO des audits m’a montré qu’aucun résumé IA de Google ne me citait. Dans ma propre langue, avec un support proche et un essai sans carte pour le vérifier avant de payer. »
Questions fréquentes sur le test de robots.txt
Tout comprendre sur les directives robots.txt, le crawl de Googlebot, les robots d’IA et la résolution des blocages.
Qu’est-ce qu’un fichier robots.txt et à quoi sert-il ?
Le robots.txt est un fichier texte simple situé à la racine de votre domaine (ex. exemple.com/robots.txt) respectant le Robots Exclusion Protocol (RFC 9309). Il indique aux robots quelles URLs ils peuvent ou ne peuvent pas demander, afin d’économiser les ressources de votre serveur.
Comment tester si une URL est bloquée par le robots.txt ?
Entrez votre domaine dans l’outil, choisissez le robot (ex. Googlebot ou Bingbot) et indiquez le chemin (ex. /blog/article ou /admin/). L’outil applique les règles selon la priorité RFC 9309 et vous indique immédiatement si l’URL est Autorisée ou Bloquée.
Comment envoyer un robots.txt mis à jour à Google ?
Google réexplore et met à jour votre robots.txt automatiquement plusieurs fois par jour. Pour une prise en compte immédiate, rendez-vous dans Google Search Console > Paramètres > robots.txt et demandez une réexploration.
Que se passe-t-il si une règle Allow et une règle Disallow ciblent la même URL ?
Selon la RFC 9309, la règle dont le motif est le plus long l’emporte. Si les motifs sont de longueur strictement identique, la directive Allow est prioritaire sur Disallow.
Comment bloquer les robots d’IA sans bloquer Google ?
Créez des sections spécifiques pour les robots d’IA, par exemple "User-agent: GPTBot", "User-agent: ClaudeBot" ou "User-agent: CCBot" avec "Disallow: /". Googlebot continuera d’explorer votre site selon son propre bloc ou le bloc générique User-agent: *.
Peut-on utiliser "Noindex" dans le robots.txt pour désindexer une page ?
Non. Google ne supporte plus noindex dans le robots.txt depuis septembre 2019. Pour désindexer une page, utilisez une balise meta robots noindex sur une page accessible aux robots.
Googlebot respecte-t-il la directive Crawl-delay ?
Non. Googlebot ignore Crawl-delay. Utilisez les paramètres de Search Console ou des limitations serveur HTTP (code 429). Bingbot respecte en revanche Crawl-delay en secondes entières.
Où doit être placé le fichier robots.txt ?
Il doit obligatoirement être situé à la racine exacte de votre domaine, accessible en HTTP/HTTPS sur /robots.txt (ex. https://exemple.com/robots.txt). Les sous-dossiers ne sont pas pris en compte.
Le robots.txt est-il sensible à la casse ?
Les noms de directives (User-agent, Allow, Disallow) ne sont pas sensibles à la casse. Cependant, les chemins d’URLs le sont : "Disallow: /Admin" bloquera /Admin/ mais PAS /admin/.
Prêt à suivre vos positions et la santé de votre site ?
Suivez vos mots-clés chaque jour, surveillez vos backlinks et auditez vos erreurs techniques avec TrueRanker. Essai gratuit de 14 jours.