Déployer un plan de site et un fichier robots.txt

Un plan du site et un fichier robots.txt sont des outils simples pour communiquer avec Google.

Lorsque vous mettez en ligne un nouveau contenu, celui-ci n’est pas toujours immédiatement indexé par Google. Dans certains cas, cela peut même prendre beaucoup de temps.

Cela n’est pas surprenant quand on sait qu’il existe des milliards de pages Web en ligne qui doivent toutes être trouvées et indexées. Cela peut donc facilement prendre plusieurs semaines à Google pour trouver votre site Web ou votre page.

Plus votre site Web a d’autorité, plus Google le visitera souvent pour examiner les modifications. Un site existant avec de nombreux visiteurs verra donc son nouveau contenu indexé bien plus rapidement qu’un nouveau site qui vient tout juste d’être mis en ligne.

Heureusement, nous n’avons pas besoin de rester assis et d’attendre que Google arrive, mais nous pouvons indiquer à Google que le nouveau contenu est prêt à être indexé. Les outils que nous utilisons pour cela sont le plan du site et le fichier robots.txt.

Comment utiliser un plan de site ?

Un plan du site est en fait un index de l’ensemble de votre site Web qui donne à Google un aperçu de toutes les URL disponibles. Il existe différentes solutions pour créer le plan du site. Si vous utilisez un système CMS tel que WordPress, différents plugins sont disponibles pour ce faire.

Vous pouvez en parler à votre concepteur de sites Web ou vous pouvez commencer vous-même avec un plugin. Vous pouvez créer vous-même un plan du site sur différents sites web. Veuillez noter que le plan de site ne mettra pas automatiquement à jour, donc le nouveau contenu ne sera pas inclus. Il est préférable d’utiliser un plan de site dynamique qui inclut également du nouveau contenu et le signale à Google.

Une fois votre plan de site créé, vous devez ensuite le soumettre à la Google Search Console. Si vous disposez d’un plan de site dynamique, vous ne devez le faire qu’une seule fois.

Vous ne savez pas si vous disposez déjà d’un plan du site ? Vous pouvez généralement facilement vérifier votre plan de site avec l’URL suivante : www.votrenomdedomaine.com/sitemap.xml

Si vous n’y voyez rien, cela ne veut pas dire que vous n’avez pas de plan du site, assurez-vous d’abord de demander à votre concepteur de sites Web.

Le rôle d’un fichier robots.txt

Avant qu’un robot (tel que Google) commence à explorer votre site Web, il vérifie d’abord si un fichier TXT est présent. Avec ce simple fichier, vous transmettez des informations aux moteurs de recherche.

Quelles informations un fichier robots.txt peut-il contenir ?

• Vous pouvez bloquer certains robots, par exemple les robots de recherche chinois, si vous ne faites pas d’affaires avec la Chine
• Vous indiquez où se trouve votre plan de site
• Vous demandez aux robots de recherche d’analyser l’intégralité du site Web
• Vous pouvez demander aux robots de recherche de ne pas scanner certaines pages
• Vous pouvez demander aux robots de ne pas scanner un répertoire entier

Il est important de savoir que ce n’est pas parce que vous demandez au bot de ne pas visiter une certaine page qu’elle n’apparaîtra pas dans les résultats de recherche. Des références sur d’autres sites peuvent provoquer cela. La page aura un mauvais score dans les résultats de recherche, mais elle pourra toujours être trouvée.

Si vous souhaitez vraiment qu’une page ne soit pas indexée et donc introuvable dans les résultats de recherche, mieux vaut n’utiliser ni index ni follow dans les paramètres des méta robots.

Si vous utilisez incorrectement le fichier robots.txt, vous risquez de refuser involontairement aux robots l’accès à vos pages, ce qui peut bien sûr être très préjudiciable à votre référencement.

Pourquoi le plan du site et le fichier robots.txt sont importants pour le référencement

Les deux fichiers aident Google à comprendre votre site Web et à indexer vos pages.

Si vous avez un nouveau site Web et que vous ne voulez pas attendre des semaines que Google arrive, vous aurez besoin de ces outils.

Si vous publiez régulièrement du nouveau contenu, votre plan de site aidera Google à le trouver plus rapidement.