# robots.txt — carnetpsy.fr # Fichier PHYSIQUE, à déposer à la racine de /prod/ # Remplace la génération dynamique par WordPress/Yoast (~0,5 s de PHP par appel). # Révision 2026-09-11c — cf. CP-003 et CP-006 # b (31/08) : version initiale physique # c (11/09) : blocage ExaSearchBot + groupes nommés (cf. § Crawlers) # # /!\ Dès qu'un fichier physique existe, Yoast ne gère plus ce contenu : # toute modification future se fait ICI, et la ligne Sitemap doit y rester. User-agent: * # --- Administration et interne --- Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-content/uploads/wc-logs/ Disallow: /wp-content/uploads/woocommerce_transient_files/ Disallow: /wp-content/uploads/woocommerce_uploads/ # --- Données de gestion (cf. CP-005) --- Disallow: /participant/ Disallow: /cairn_code/ # --- Parcours d'achat : aucun intérêt pour l'indexation, coûteux en PHP --- Disallow: /panier/ Disallow: /commande/ Disallow: /espace-client/ # --- Surfaces coûteuses générées à la volée --- Disallow: /*?wpgb-ajax= Disallow: /*?s= # --- /!\ NE PAS interdire ?print= pour l'instant ------------------------- # Le générateur PDF contournait le paywall (cf. CP-006) et Google a indexé # ~31 pages de résultats de PDF d'articles payants. # Ces URLs renvoient désormais 403 aux visiteurs anonymes (.htaccess 1.9). # Googlebot DOIT pouvoir les recrawler pour constater le 403 et les # DÉSINDEXER : un Disallow ici empêcherait cette désindexation, l'URL # resterait dans l'index de Google avec « aucune information disponible ». # # → Réactiver ces deux lignes SEULEMENT une fois l'index nettoyé # (vérifier avec : site:carnetpsy.fr filetype:pdf) : # Disallow: /*?print= # Disallow: /*?list= # Respecté par Bing, Yandex et la plupart des crawlers — ignoré par Google, # dont la fréquence se règle dans la Search Console. Crawl-delay: 10 # ========================================================================= # CRAWLERS — GROUPES NOMMÉS (ajouté rév. c, 11/09/2026) # ========================================================================= # # /!\ ORDRE DU FICHIER : ces groupes nommés sont placés APRÈS le groupe « * » # et son « Crawl-delay », et AVANT la ligne « Sitemap: ». Une directive # appartient au dernier « User-agent: » rencontré : déplacer Crawl-delay # sous ces groupes le ferait sortir du groupe « * ». Ne pas réordonner. # # /!\ Un robot qui correspond à un groupe nommé IGNORE ENTIÈREMENT le groupe # « * » : il perd Crawl-delay ET les Disallow (?wpgb-ajax=, ?s=, /panier/…). # Sans conséquence tant que la règle est « Disallow: / ». Mais pour # seulement RALENTIR un de ces robots, il faudrait lui recopier toutes # les règles du groupe *. # # /!\ robots.txt contrôle le CRAWL, pas l'INDEXATION. Pour retirer de l'index # ce qui y est déjà, il faut « noindex » — un Disallow empêcherait même # le robot de voir le noindex. # --- ExaSearchBot — BLOQUÉ le 11/09/2026 --------------------------------- # Moteur de recherche sémantique Exa (exa.ai), brique de recherche utilisée # par des agents IA. C'est le crawler d'INDEXATION, distinct des requêtes # ponctuelles faites via l'API ou le MCP Exa. # Mesuré le 11/09 sur 00h->10h : 2 116 requêtes, en montée (443 à 07h, # 765 à 08h, 860 à 09h) = 1er bot du site ce jour-là. # Exa déclare respecter le Robots Exclusion Protocol (crawler.exa.ai) et # signe ses requêtes ; le blocage par IP est déconseillé par Exa elle-même. # → Si le volume ne baisse pas sous 48 h, basculer en règle .htaccess (403). User-agent: ExaSearchBot Disallow: / # --- Crawlers SEO commerciaux non couverts par la règle .htaccess 1.4 ---- # Même nature que ceux déjà bloqués en 403 (Ahrefs, Semrush, MJ12, DotBot…), # mais absents de la liste. Aucune valeur pour un magazine francophone. # SERanking : 870 hits le 10/09, 357 sur 00h->10h le 11/09 (énumère /auteur/ # en ordre alphabétique). Awario : ~150-306 req/jour. # /!\ Jetons robots.txt À CONFIRMER : relevés depuis le User-Agent du log, # pas depuis une documentation éditeur. Contrôler l'effet sous 48 h ; # sans baisse, basculer ces deux-là dans la règle .htaccess 1.4. User-agent: SERankingBacklinksBot Disallow: / User-agent: AwarioBot Disallow: / # ========================================================================= # CRAWLERS IA — ARBITRAGE EN ATTENTE (Lucie) NE PAS DÉCOMMENTER # SANS SA DÉCISION. Miroir de la règle .htaccess 1.6, elle aussi commentée. # ========================================================================= # # Question de fond : un magazine par abonnement PAYANT veut-il alimenter # gratuitement les index et les modèles interrogés par les agents IA ? # Volume mesuré le 11/09 sur 00h->10h : 1 589 requêtes (538 sur la seule # heure de 07h). # # Trois familles à ne PAS confondre — la décision peut différer pour chacune. # # (1) ENTRAÎNEMENT / INDEX — le contenu nourrit un modèle ou un index. # C'est la famille visée par une opposition de principe. # /!\ Google-Extended n'affecte PAS le classement dans Google Search : # il ne concerne que les usages IA de Google. Le bloquer ne coûte # rien en SEO. # User-agent: GPTBot # Disallow: / # User-agent: OAI-SearchBot # Disallow: / # User-agent: ClaudeBot # Disallow: / # User-agent: Claude-SearchBot # Disallow: / # User-agent: anthropic-ai # Disallow: / # User-agent: CCBot # Disallow: / # User-agent: PerplexityBot # Disallow: / # User-agent: Google-Extended # Disallow: / # User-agent: Applebot-Extended # Disallow: / # User-agent: Amazonbot # Disallow: / # User-agent: Meta-ExternalAgent # Disallow: / # User-agent: Bytespider # Disallow: / # # (2) RÉCUPÉRATION DEMANDÉE PAR UN HUMAIN — quelqu'un a explicitement # demandé à un assistant de lire UNE page. Les bloquer revient à # empêcher un lecteur d'utiliser l'outil de son choix, et ne protège # rien : la personne a déjà accès à la page. # Recommandation : NE PAS bloquer. # ChatGPT-User · Claude-User · Perplexity-User # # (3) NE JAMAIS BLOQUER — le référencement fait vivre le site : # Googlebot · Bingbot · DuckDuckBot · Qwantbot # Ni la sonde Jetpack (jetmon), ni wp-cron (IP 5.135.43.82). Sitemap: https://carnetpsy.fr/sitemap_index.xml