85% des sites analysés par Lekt ont des blocages IA non détectés. Une partie de ces blocages ne vient d'aucune décision : ils sont écrits noir sur blanc dans le robots.txt, un petit fichier texte hérité d'un réglage SEO ancien ou d'un template par défaut. Personne ne l'a jamais relu. Et il dit aux robots de ChatGPT, Perplexity ou Gemini de passer leur chemin.
Le robots.txt, c'est le fichier qui indique aux crawlers ce qu'ils ont le droit de visiter sur votre site. Il existe depuis l'époque de Google. Le problème, c'est qu'une règle pensée pour le SEO classique peut bloquer les moteurs IA sans que vous l'ayez voulu. Voici les quatre erreurs les plus fréquentes.
Cet article traite des blocages involontaires. Si vous vous demandez s'il faut bloquer GPTBot volontairement, c'est une autre question, traitée dans bloquer GPTBot, la fausse bonne idée.
Erreur 1 : le "Disallow: /" qui ferme tout le site
C'est la règle la plus radicale. Deux lignes suffisent :
User-agent: *
Disallow: /
Cela revient à dire à tous les robots, IA comprises, qu'aucune page n'est accessible. On la retrouve souvent sur des sites passés en maintenance puis remis en ligne sans nettoyage, ou sur des templates installés avec ce réglage par défaut.
La correction : remplacez Disallow: / par Disallow: (vide) ou supprimez la ligne. Le site redevient lisible pour tous les crawlers.
Erreur 2 : les wildcards trop larges
Un wildcard, c'est le caractère * qui sert à bloquer plusieurs chemins d'un coup. Pratique, mais dangereux quand il ratisse trop large. Exemple :
Disallow: /*/content/
L'intention était sans doute de cacher un dossier précis. En réalité, cette règle bloque tout chemin contenant /content/, y compris vos pages de blog ou vos fiches produits si leur URL passe par là.
La correction : ciblez le chemin exact à bloquer plutôt qu'un motif générique, et vérifiez qu'aucune page importante ne tombe dedans.
Erreur 3 : les robots IA que vous n'avez pas listés
Beaucoup de robots.txt autorisent ou bloquent "GPTBot" en pensant couvrir ChatGPT. Mais GPTBot n'est qu'un agent parmi d'autres. Chaque moteur IA utilise plusieurs robots aux noms différents :
- OAI-SearchBot pour la navigation web de ChatGPT
- PerplexityBot pour Perplexity
- ClaudeBot pour Claude
- Google-Extended pour Gemini
Si votre fichier ne mentionne que GPTBot, les autres ne sont pas couverts par vos règles. Vous pensez gérer "les IA", vous n'en gérez qu'une fraction.
La correction : listez explicitement chaque agent que vous voulez autoriser, ou utilisez User-agent: * pour appliquer une règle commune à tous.
Erreur 4 : le robots.txt absent ou cassé
Dernier cas, le plus silencieux. Le fichier renvoie une erreur 404, contient une faute de syntaxe, ou n'a jamais été créé. Les crawlers IA interprètent alors la situation de façon variable : certains supposent que tout est autorisé, d'autres se montrent prudents et limitent leur exploration.
Dans tous les cas, vous perdez le contrôle de ce qui se passe. Un fichier propre vaut toujours mieux qu'un fichier manquant.
La correction : vérifiez que votre robots.txt répond bien à l'adresse votresite.com/robots.txt, avec un code 200 et une syntaxe valide.
Ce que Lekt vérifie pour vous
Relire un robots.txt ligne par ligne et tester chaque agent IA un par un prend du temps, et une erreur de lecture est vite arrivée. Le premier check de la catégorie Accessibilité IA de Lekt analyse justement ce point : l'accessibilité de votre robots.txt et les autorisations réellement accordées à chaque crawler IA, GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot et Google-Extended compris.
Vous savez en quelques secondes si l'un d'eux est bloqué, et lequel. Pour comprendre ce qu'un blocage de ChatGPT coûte concrètement à votre visibilité, voyez aussi ce que ça change quand ChatGPT ne peut pas lire votre site.
Passez à l'action
Tester votre visibilité IA Scan gratuit, résultats instantanés sur 18 critères techniques. Scan gratuit →