Qu’est-ce que le fichier « robots.txt » dans WordPress et comment l’utiliser

L’art et la science d’amener votre site Web à un rang élevé dans les résultats de divers moteurs de recherche sont communément appelés SEO (Search Engine Optimization). Et il y a beaucoup d’aspects différents en matière de référencement, peut-être trop nombreux pour être traités dans un seul article. C’est pourquoi nous allons nous concentrer sur un seul pour le moment : le fichier robots.txt de WordPress. Dans cet article, nous approfondirons ce qu’est le fichier robots.txt et comment l’utiliser. Entre autres choses, nous discuterons des différentes façons de créer le fichier et couvrirons les meilleures pratiques concernant ses directives.

Qu’est-ce que le fichier « robots.txt »

Robots.txt est un fichier texte situé dans votre répertoire racine WordPress. Vous pouvez y accéder en ouvrant le votre-site.com/robots.txt URL dans votre navigateur. Il permet aux robots des moteurs de recherche de savoir quelles pages de votre site Web doivent être explorées et lesquelles ne le doivent pas. À proprement parler, un site Web n’a pas besoin d’avoir un fichier robots.txt. Si vous êtes en train de créer votre site Web, il est préférable de vous concentrer d’abord sur la création de contenu de qualité. Les robots des moteurs de recherche exploreront votre site Web, que vous ayez ou non le fichier robots.txt.

Cependant, il y a quelques avantages à avoir un fichier robots.txt avec les directives appropriées une fois que votre site WordPress est terminé. En plus d’empêcher les robots d’exploration d’explorer du contenu inutile, les directives optimisées du fichier robots.txt garantissent que votre quota d’exploration (nombre maximal de fois qu’un robot d’exploration peut explorer votre site Web pendant une période donnée) ne soit pas gaspillé.

De plus, des directives WordPress robots.txt bien écrites peuvent réduire les effets négatifs des mauvais robots en leur interdisant l’accès. Celui-ci, à son tour, pourrait améliorer la vitesse de chargement globale de votre site Web. Mais gardez à l’esprit que les directives robots.txt ne doivent pas être votre seule sécurité. Les mauvais robots ignorent souvent ces directives, il est donc fortement conseillé d’utiliser un bon plugin de sécurité, en particulier si votre site Web rencontre des problèmes causés par des mauvais robots.

Enfin, il est communément admis que le fichier robots.txt peut empêcher l’indexation de certaines pages de votre site Web. Le fichier robots.txt peut contenir des directives qui empêchent l’exploration, pas l’indexation. Et, même si une page n’est pas explorée, elle peut toujours être indexée via des liens externes y menant. Si vous voulez éviter d’indexer une page spécifique, vous devez utiliser le pas d’index balise meta au lieu des directives dans le fichier robots.txt.

Comment utiliser le fichier « robots.txt »

Après avoir clarifié ce qu’est un fichier robots.txt WordPress et certaines de ses fonctions, nous pouvons examiner comment il est utilisé. Dans cette section, nous verrons comment créer et modifier un fichier robots.txt, certaines des bonnes pratiques concernant son contenu et comment le tester pour les erreurs.

Comment créer le fichier « robots.txt »

Par défaut, WordPress créera un fichier robots.txt virtuel pour n’importe quel site Web. Un tel fichier pourrait ressembler à ceci, par exemple :

Cependant, si vous souhaitez le modifier, vous devrez créer un véritable fichier robots.txt. Dans cette section, nous vous expliquerons trois façons de procéder. Deux d’entre eux impliquent l’utilisation de plugins WordPress, tandis que le troisième repose sur l’utilisation de FTP.

Avec plus de 5 millions d’installations actives, Yoast SEO est l’un des plugins de référencement les plus populaires disponibles. Il dispose de nombreux outils d’optimisation de site, y compris une fonctionnalité qui permet aux utilisateurs de créer et de modifier des fichiers robots.txt.

Après avoir installé le plugin, cliquez sur le nouveau Référencement section, suivi du clique sur le Outils sous-section. Dans la page qui s’ouvre, clique sur le Éditeur de fichiers lien près du sommet.

Sur la page suivante, localisez le robots.txt section. À partir de là, si vous ne l’avez pas déjà créé auparavant, vous devriez appuyez sur la Créer un fichier robots.txt bouton.

Cela créera le fichier et vous pourrez voir son contenu dans une zone de texte. En utilisant cette même zone de texte, vous pourrez modifier le contenu de votre nouveau fichier robots.txt. Lorsque vous avez terminé de modifier le fichier, appuyez sur le bouton Enregistrer les modifications dans robots.txt bouton ci-dessous.

Tout en un SEO est un autre plugin de référencement très populaire qui comprend diverses fonctionnalités gratuites, notamment celles qui permettent aux utilisateurs de créer et de modifier des fichiers WordPress robots.txt.

Après avoir installé le plugin, cliquez sur le nouveau Référencement tout en un section dans le menu de votre tableau de bord, suivi d’un clique sur le Gestionnaire de fonctionnalités option. Au sein du Gestionnaire de fonctionnalités page, localiser le Robots.txt caractéristique puis appuyez sur la Activer bouton à côté de cela.

Cela créera le fichier robots.txt. Après, vous verrez également un message de réussite indiquant que les options ont été mises à jour. Et une nouvelle sous-section appelée Robots.txt apparaîtra.

En cliquant sur le Robots.txt option, vous obtiendrez une vue de la nouvelle section. Là, vous pourrez ajouter de nouvelles règles/directives au fichier robots.txt, ainsi que voir à quoi il ressemble actuellement.

En plus d’utiliser un plugin WordPress, vous pouvez simplement créer le fichier robots.txt manuellement. D’abord, créer un fichier de type .txt vide sur votre ordinateur et enregistrez-le sous robots.txt.

Ensuite, vous devez le télécharger sur votre serveur via FTP. Si vous n’êtes pas familier avec FTP, vous devriez en savoir plus sur l’utilisation de FTP avant de continuer.

Quand tu es prêt, connectez-vous à votre serveur en utilisant vos identifiants FTP. Ensuite, dans la section de droite, accédez à votre répertoire racine WordPress, souvent appelé public_html. Dans la partie gauche de votre client FTP (nous utilisons Filezilla), localisez le fichier robots.txt vous avez précédemment créé et enregistré sur votre ordinateur. Faites un clic droit dessus et sélectionnez le Télécharger option.

En quelques instants, le fichier sera téléchargé et vous pourrez le voir parmi les fichiers de votre répertoire racine WordPress.

Si vous souhaitez modifier le fichier robots.txt téléchargé par la suite, recherchez-le dans le répertoire racine de WordPress, faites un clic droit dessus et sélectionnez le Voir la modification option.

Ajout de règles au fichier « robots.txt »

Maintenant que vous savez comment créer et éditer le fichier robots.txt, nous pouvons parler davantage des directives que ce fichier peut contenir. Les deux directives présentes le plus souvent dans robots.txt sont Agent utilisateur et Refuser.

La directive User-agent spécifie à quel robot les directives répertoriées sous la directive User-agent sont appliquées. Vous pouvez spécifier un seul bot (par exemple User-agent : Bingbot) ou faire en sorte que les directives s’appliquent à tous les bots en mettant un astérisque (Agent utilisateur: *).

La directive Disallow indique au bot de ne pas accéder à une partie spécifique de votre site Web. Et il y a aussi la directive Allow qui fait simplement le contraire. Vous n’avez pas besoin de l’utiliser aussi souvent que Disallow, car les robots ont accès par défaut à votre site Web. La directive Allow est généralement utilisée en combinaison avec la directive Disallow. Plus précisément, il sert à autoriser l’accès à un fichier ou sous-dossier appartenant à un dossier interdit.

De plus, il existe deux autres directives : Délai d’exploration et Plan du site. La directive Crawl-delay est utilisée pour empêcher la surcharge du serveur due à des requêtes d’exploration excessives. Pourtant, cette directive doit être utilisée avec prudence car il n’est pas pris en charge par certains robots (par exemple Googlebot) et il est interprété de différentes manières par les robots qui le prennent en charge (par exemple BingBot). La directive Sitemap sert à pointer les moteurs de recherche vers votre fichier XML de plan de site. L’utilisation de cette directive est fortement conseillée, car elle peut vous aider à soumettre le plan de site XML que vous créez à la console de recherche Google ou aux outils pour les webmasters Bing. Mais gardez à l’esprit que vous devez utiliser une URL absolue pour référencer votre sitemap (par exemple, Sitemap : https://www.example.com/sitemap_index.xml) lors de l’utilisation de cette directive.

Dans la section suivante, nous allons vous montrer deux exemples d’extraits, pour illustrer l’utilisation des directives robots.txt que nous avons mentionnées ci-dessus. Cependant, ce ne sont que des exemples; selon votre site Web, vous pourriez avoir besoin d’un sous-ensemble différent de directives. Cela étant dit, examinons les extraits.

Agent utilisateur: *
Interdire : /wp-admin/
Autoriser : /wp-admin/admin-ajax.php

Agent utilisateur: *
Autoriser : /wp-content/uploads/
Interdire : /wp-content/plugins/
Interdire : /wp-admin/
Interdire : /readme.html
Interdire : /référer/

Plan du site : https://www.example.com/sitemap_index.xml

Test du fichier « robots.txt »

Après avoir ajouté les directives qui correspondent aux exigences de votre site Web, vous devez tester votre fichier WordPress robots.txt. Ce faisant, vous vérifiez à la fois qu’il n’y a pas d’erreurs de syntaxe dans le fichier et vous vous assurez que les zones appropriées de votre site Web ont été correctement autorisées ou interdites.

Pour tester le fichier robots.txt de votre site web, naviguer vers un Site de test de référencement. Puis insérez n’importe quelle URL gérée par votre site web (l’URL de votre page d’accueil, par exemple), choisir un agent utilisateur (Googlebot, par exemple), et appuyez sur la Test bouton.

Si l’URL est explorable, vous verrez un résultat vert indiquant Permis. Sinon, il dira Non autorisé. Pour confirmer les directives d’exploration appropriées sur votre site Web, vous pouvez répéter le même processus pour autant d’URL différentes sur votre site Web que vous le souhaitez.

Dernières pensées

Le fichier robots.txt est un fichier texte situé dans le répertoire racine de chaque site WordPress. Il contient des directives pour les robots d’exploration leur indiquant quelles parties de votre site Web ils doivent ou ne doivent pas explorer. Bien que ce fichier soit virtuel par défaut, savoir comment le créer vous-même peut être très utile pour vos efforts de référencement.

C’est pourquoi nous avons couvert différentes manières de créer une version physique du fichier et partagé des instructions sur la façon de le modifier. De plus, nous avons abordé les principales directives qu’un fichier robots.txt WordPress doit contenir et comment vérifier que vous les définissez correctement. Maintenant que vous maîtrisez tout cela, vous pouvez réfléchir à la manière de trier les autres aspects du référencement de votre site.