WordPress robots.txt: optimisez votre SEO

Le fichier robots.txt est un élément essentiel pour le SEO de votre site WordPress. Dans cet article, découvrez comment créer, configurer et optimiser ce fichier pour améliorer votre référencement naturel.

Qu’est-ce que le fichier robots.txt sur WordPress ?

Le robots.txt est un fichier texte situé à la racine de votre site web. Il donne des instructions aux robots des moteurs de recherche comme Google, Bing ou Yahoo. Concrètement, ce fichier indique aux robots quelles pages explorer et lesquelles ignorer.

Chaque bot qui visite votre site WordPress consulte d’abord ce fichier. C’est donc la première ligne de communication entre votre site et les search engines. Sans lui, les robots explorent l’intégralité de votre contenu sans distinction.

Pourquoi le robots.txt est important pour le SEO ?

Le fichier robots.txt joue un rôle clé dans votre référencement naturel. Voici pourquoi vous devez y prêter attention.

Gérer le crawl budget

De cette manière, vous évitez de gaspiller ce précieux budget sur des pages sans intérêt SEO. Les résultats de recherche s’en trouvent améliorés car vos contenus importants sont mieux indexés.

Bloquer l’accès aux contenus sensibles

Certaines zones de votre site WordPress ne doivent pas apparaître dans les résultats de recherche. C’est le cas du répertoire wp-admin, des fichiers de configuration ou des pages de staging (pré-production, l’environnement de développement de votre site web).

Grâce aux instructions du robots.txt, vous interdisez aux robots l’exploration de ces zones. Attention toutefois : ce n’est pas une mesure de sécurité. Les pages restent accessibles si quelqu’un connaît l’URL. Il s’agit uniquement d’une directive donnée à Google.

Éviter le duplicate content

Le duplicate content peut nuire à votre référencement. Avec un robots.txt bien configuré, vous bloquez l’indexation des pages en double. Par exemple, les versions de pagination ou les pages d’archives.

Comment créer un fichier robots.txt sur WordPress ?

Plusieurs méthodes existent pour créer votre fichier robots.txt. Choisissez celle qui correspond à votre niveau technique.

Méthode manuelle avec un client FTP

Cette méthode est directe mais pas toujours simple. Voici les étapes à suivre :

1. Ouvrez un éditeur de texte (Notepad, VS Code, etc.)
2. Rédigez vos instructions
3. Enregistrez le fichier sous le nom « robots.txt »
4. Connectez-vous à votre serveur via un client FTP
5. Uploadez le fichier à la racine de votre site

Assurez-vous que le fichier se trouve bien dans le répertoire principal. L’URL doit être : votredomaine.com/robots.txt

Méthode avec le File Manager

Si votre hébergeur propose un file manager, utilisez-le. Accédez à votre panneau d’administration d’hébergement. Puis naviguez jusqu’au root directory de votre installation WordPress.

Créez un nouveau fichier texte nommé « robots.txt ». Ajoutez ensuite vos instructions et enregistrez.

Utiliser un plugin WordPress

Les plugins SEO offrent une option plus accessible. Yoast SEO, Rank Math et All in One SEO permettent de modifier le fichier robots.txt directement depuis le tableau de bord WordPress.

Avec Yoast SEO, rendez-vous dans Outils > Éditeur de fichiers. Vous pouvez alors modifier le fichier robots.txt sans toucher au code. Cette méthode convient parfaitement à ceux qui ne veulent pas se risquer dans les fichiers du site.

Rank Math propose une fonctionnalité similaire. Allez dans Rank Math > Réglages généraux > Modifier robots.txt. L’interface est intuitive et le support est excellent.

Les instructions essentielles du robots.txt

Le fichier robots.txt utilise une syntaxe spécifique. Voici les commandes principales à connaître selon la documentation officielle de Google.

User-agent: *

User-agent: Googlebot

Disallow: /wp-admin/
Disallow: /wp-includes/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://votredomaine.com/sitemap.xml

Exemple de robots.txt optimisé pour WordPress

Voici un modèle de robots.txt adapté à la plupart des sites WordPress :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?s=
Disallow: /search/

Sitemap: https://votredomaine.com/sitemap.xml

Adaptez ces instructions selon la structure de votre site web. Retenez tout de même que chaque site internet a ses spécificités, vous pouvez voir celui de Pilot’in : https://www.pilot-in.com/robots.txt

Comment tester votre fichier robots.txt ?

Après création ou modification, vous devez vérifier que tout fonctionne. Google met à disposition un outil dédié.

Utiliser Google Search Console

Connectez-vous à votre compte Google Search Console. Puis accédez à l’outil de test du robots.txt. Cet outil analyse votre fichier et signale les erreurs de syntaxe.

Vous pouvez également tester une URL spécifique. L’outil vous indique si cette page est bloquée ou autorisée par vos instructions.

Vérifier manuellement

Une méthode simple consiste à visiter directement votre fichier. Tapez dans votre navigateur : votredomaine.com/robots.txt

Vous verrez alors le contenu de votre fichier. Vérifiez que les instructions correspondent à vos attentes.

Comment modifier le fichier robots.txt sur WordPress ?

Au fil du temps, vous devrez peut-être ajuster vos règles. Voici comment procéder.

Via un plugin SEO

Si vous utilisez Yoast SEO ou Rank Math, la modification est simple. Accédez aux réglages du plugin. Cherchez l’option « Modifier robots.txt ». Apportez vos changements et enregistrez.

Via FTP ou File Manager

Téléchargez votre fichier robots.txt actuel. Ouvrez-le avec un éditeur de texte. Effectuez vos modifications. Puis uploadez la nouvelle version à la racine du site.

Pensez toujours à sauvegarder l’ancienne version avant toute modification.

Les erreurs courantes à éviter

Certaines erreurs peuvent gravement impacter votre indexation. Évitez ces pièges fréquents.

• Bloquer l’ensemble du site : Une ligne « Disallow: / » interdit l’exploration de tout votre site. Vérifiez que cette instruction n’apparaît pas par accident.
• Oublier le fichier sitemap : Ne pas mentionner votre sitemap dans le robots.txt est une occasion manquée. Les robots trouvent plus facilement vos pages grâce à cette indication.
• Confondre indexation et crawling : Le robots.txt gère l’exploration (crawling), pas l’indexation. Pour empêcher une page d’apparaître dans les résultats de recherche, utilisez la balise meta « noindex ».
• Négliger les mises à jour : Votre site évolue, votre robots.txt aussi. Lors de l’installation d’un nouveau plugin ou thème, pensez à adapter vos règles.

Pour finir sur le robots.txt

Le fichier robots.txt est un outil puissant pour optimiser votre référencement naturel. Bien configuré, il améliore le crawl budget et protège vos contenus sensibles.

Pour résumer, créez votre fichier via un plugin comme Yoast SEO ou manuellement. Ajoutez les instructions Disallow et Allow adaptées. Mentionnez votre sitemap. Puis testez régulièrement via Google Search Console.