WordPress : Optimisez la configuration de votre fichier Robots.txt !

Publié le 11 avril 2014 - Mise à jour le 26 juillet 2023

Par Andréa Bensaïd

Fondateur d'Eskimoz. J'accompagne les entreprises de toutes tailles dans leur stratégie d'acquisition digitale.

header_wordpress

Vous aussi vous êtes convaincu que WordPress est aujourd’hui le meilleur CMS pour optimiser votre référencement naturel. On est d’accord! Et nous ne sommes pas les seuls. En effet, le géant Google semble apprécier fortement cette technologie dans la mesure où vous l’avez bien configuré – bien sûr.

WORDPRESS - OPTIMISEZ LA CONFIGURATION DE VOTRE FICHIER ROBOTS.TXT !

Du choix de vos modules à la configuration de votre fichier robots.txt, vous pouvez rapidement vous retrouver avec du contenu dupliqué, des pages inutiles indexées, ce qui perturbe la compréhension de votre site par les moteurs de recherche et donc pénalise votre site en terme de référencement.

Vous trouverez ci-dessous les principales règles pour optimiser parfaitement votre robots.txt, de manière à guider les moteurs de recherche. Cela permettra à votre site de présenter les bonnes pages aux internautes et d’optimiser le jus de vos pages.

Fichier robots.txt WordPress optimisé

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.swf$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

Une fois votre robots.txt configuré, rendez-vous sur la page suivante de votre site www.site.com/robots.txt afin de vérifier la présentation du fichier.

Finies les pages /category/ qui sortent sur Google à la place de votre article, qui lui, contrairement à la page /category/, est parfaitement optimisé au niveau SEO.

Pour finir, l’utilité principale d’optimiser son fichier robots.txt sur WordPress est que vous concentrez le jus au bon endroit, au lieu de le partager sur plusieurs pages.

Pourquoi indexer 100 pages, quand seulement 10 sont utiles ?

Depuis Google mobile friendly

Suite à la mise en place du label Google mobile friendly le 21 avril 2015, il n’est plus conseillé de bloquer les fichiers JavaScript, CSS et images car cela empêche l’obtention de celui-ci.

Même si le label n’a qu’une incidence sur les recherches mobiles pour le moment, il devrait prendre de plus en plus d’ampleur dans les mois/années à venir donc pensez à soigner minutieusement la limitation des accès à vos pages !

Derniers articles

Publié le 17 juillet 2024

Image SEO : Comment optimiser leur référencement ?

Découvrez comment optimiser vos images pour le SEO et améliorer votre classement dans les moteurs de recherche.

Publié le 4 juillet 2024

Circle to Search : C'est quoi ? Comment l’utiliser ?

Il est désormais possible de retrouver n'importe quoi sur votre smartphone, il vous suffit de l'entourer. Découvrez Circle to Search.

Publié le 27 juin 2024

Privacy Sandbox de Google : Comment ça fonctionne ?

Découvrez comment la Privacy Sandbox de Google va remplacer les cookies tiers. Explorez et adaptez votre stratégie dès aujourd'hui.