WordPress : Optimisez la configuration de votre fichier Robots.txt !

Publié le 11 avril 2014 - Mise à jour le 26 juillet 2023

Par Andréa Bensaïd

Consultant en référencement naturel et social sur Paris. J'accompagne les entreprises de toutes tailles dans leur stratégie de visibilité sur le web.

header_wordpress

Vous aussi vous êtes convaincu que WordPress est aujourd’hui le meilleur CMS pour optimiser votre référencement naturel. On est d’accord! Et nous ne sommes pas les seuls. En effet, le géant Google semble apprécier fortement cette technologie dans la mesure où vous l’avez bien configuré – bien sûr.

WORDPRESS - OPTIMISEZ LA CONFIGURATION DE VOTRE FICHIER ROBOTS.TXT !

Du choix de vos modules à la configuration de votre fichier robots.txt, vous pouvez rapidement vous retrouver avec du contenu dupliqué, des pages inutiles indexées, ce qui perturbe la compréhension de votre site par les moteurs de recherche et donc pénalise votre site en terme de référencement.

Vous trouverez ci-dessous les principales règles pour optimiser parfaitement votre robots.txt, de manière à guider les moteurs de recherche. Cela permettra à votre site de présenter les bonnes pages aux internautes et d’optimiser le jus de vos pages.

Fichier robots.txt WordPress optimisé

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

Une fois votre robots.txt configuré, rendez-vous sur la page suivante de votre site www.site.com/robots.txt afin de vérifier la présentation du fichier.

Finies les pages /category/ qui sortent sur Google à la place de votre article, qui lui, contrairement à la page /category/, est parfaitement optimisé au niveau SEO.

Pour finir, l’utilité principale d’optimiser son fichier robots.txt sur WordPress est que vous concentrez le jus au bon endroit, au lieu de le partager sur plusieurs pages.

Pourquoi indexer 100 pages, quand seulement 10 sont utiles ?

Depuis Google mobile friendly

Suite à la mise en place du label Google mobile friendly le 21 avril 2015, il n’est plus conseillé de bloquer les fichiers JavaScript, CSS et images car cela empêche l’obtention de celui-ci.

Même si le label n’a qu’une incidence sur les recherches mobiles pour le moment, il devrait prendre de plus en plus d’ampleur dans les mois/années à venir donc pensez à soigner minutieusement la limitation des accès à vos pages !

Derniers articles

Publié le 13 février 2024

Google SGE : la Search Generative Experience, une future opportunité pour le SEO ?

Comment la Search Generative Experience va-t-elle impacter les stratégies de référencement naturel ? Que faut-il attendre de Google SGE ?

Publié le 14 décembre 2023

AIO : Comment l’intelligence artificielle optimise les stratégies de référencement naturel

L’Artificial Intelligence Optimization (AIO) est une nouvelle branche du SEO qui tire parti des bénéfices de l’IA. Découvrez comment le SEO évolue.

Publié le 31 octobre 2023

Mises à jour Google : Quelles sont les mises à jour de l'algorithme de Google en 2023 ?

Découvrez les dernières mises à jour de Google en 2023 : Page Experience, Product Review, Core Update, Helpful Content et bien plus encore.