checklist seo

Robots.txt + meta tag

robots.txt & meta tagLa balise meta robots et le fichier robots.txt sont deux mécanismes différents et indépendants pour passer certaines informations aux robots des moteurs de recherche. Ils vous permettent de spécifier quelles parties de votre site doivent être indexées par les moteurs de recherche de celles qui ne le doivent ne pas . Ils sont touts les deux très puissants, et il faut être prudent car de petites erreurs peuvent avoir de sérieuses conséquences !

 
Différence entre le fichier robots.txt & la balise meta robots 

Robots.txt est utilisé pour bloquer les dossiers système, comme le répertoire /plugins qui est  installé par défaut lors de l' installation de Joomla. Il indique au robot Google de ne pas "crawler" lorsqu'il tente d'explorer le fichier ou le répertoire, ce qui a pour effet d'obfusquer tout contenu qu'il contient.

La balise meta robots est elle utilisée spécifiquement pour bloquer l' indexation de certaines pages. Par exemple, Google n' est pas friant  de vos pages de recherche internes pour les incorporer dans son index  (pour plus d'informations consultez www.seroundtable.com/google-block-search-results-pages-24279.html) utilisez la balise meta robots pour bloquer leurs indexations. Donc en résumé robots.txt dit à Google  ne va pas là alors que la balise meta robots dit ne m'indexe pas. Ce sont deux choses différentes !

Les deux solutions ne se remplacent pas l'une et l'autre, elles ont toutes deux leur utilité spécifique. Ne les utilisez pas en même temps ! Je vais discuterai des deux solutions en profondeur.

Robots.txt

La configuration du fichier robots.txt se fait en dehors de l'administration de Joomla, il suffit d'ouvrir et de modifier le fichier en question. Le fichier robots.txt est un fichier qui contient essentiellement des informations sur les parties du site qui doivent être accessibles au public. Il est destiné aux robots des moteurs de recherche qui parcourent les sites web afin de déterminer quelles pages doivent être intégrées à l'index. Par défaut, les moteurs sont autorisés à tout explorer. Si certaines parties du site doivent être bloquées, vous devez les spécifier.

Notez que le blocage des URLs dans le fichier robots.txt n'empêche pas Google d'indexer la page. Il cessera simplement de vérifier la page. Il suffit de vérifier ce résultat ci-dessous pour le logiciel de référencement Raven tools, qui est en fait très haut dans les classements, où l'URL a été bloquée dans robots.txt, alors qu'elle est toujours indexée :

robots.txt

Par conséquent pour être absolument sur qu'une page ne soit pas indexée, utilisez la balise méta robots, tel que détaillé plus bas dans cet article.

Revenons au fichier robots.txt : Joomla est livré avec un fichier robots.txt standard qui devrait fonctionner correctement pour la plupart des sites, sauf pour les sites plus anciens : dans les anciennes versions de Joomla, il bloquait les dossiers /images, /media et /templates. Cela empêche l'indexation des images ou des feuilles de style CSS de votre site, ce que vous ne souhaitez évidemment pas. Par conséquent, si vous voyez encore ce blocage dans votre fichier robots.txt, supprimez le complètement :

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
# Disallow: /images/ <-------- supprimer
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
# Disallow: /media/ <-------- supprimer
Disallow: /modules/
Disallow: /plugins/
# Disallow: /templates/ <-------- supprimer
Disallow: /tmp/

Note : Depuis Joomla 3.3, ce problème est corrigé et ces lignes ne sont plus bloquées. Mais si votre site a été lancé avec une version antérieure, l'ancienne version de robots.txt peut encore être présente !

Comme vous pouvez le constater, ce fichier est principalement utilisé pour bloquer les dossiers système. Par ailleurs, vous pouvez également utiliser ce fichier pour empêcher l'indexation de certaines pages, comme les pages de connexion ou les pages 404, mais il est préférable d'utiliser la métabalise « robots ».

Vous pouvez également vérifier si votre fichier robots.txt fonctionne correctement en utilisant la section URL bloquées de la Google Search Console.

Modification avancée avec le fichier robots.txt

Les utilisateurs avancés peuvent utiliser le fichier robots.txt pour bloquer l'indexation des pages à l'aide d'un système de filtrage. Vous pouvez par exemple bloquer toute page contenant un '?' pour éviter le contenu dupliqué à partir d'URL non-SEF (ce qui n'est pas une pratique conseillée de nos jours) :

User-agent: *
Disallow: /*?*

Inutile de dire qu'il faut être prudent avec ce type de modifications. D'autres exemples sont disponibles sur searchengineland.com.

Allow CSS and Javascript?

Voici une remarque que Google a récemment faite au sujet des sites mobiles (voir cette vidéo où Matt Cutts de Google s'exprime) :

Ne bloquer pas CSS, Javascript & d'autres fichiers ressources par défaut . En effet cela empêcherait les bots de Google de bien comprendre la page et son rendu mais aussi de vérifier que le site est bien optimisé pour une visualisation sous smartphones.

C'est pourquoi les répertoires /templates & /média ne sont plus bloqué lors de l'installation de Joomla depuis Juillet 2014 (idem pour le répertoire ). Assurez vous tout de même que tous vos fichiers ressources ne sont pas bloqués. Assurez vous toutefois que tous vos fichiers ressources ne soient pas bloqués. Si vous utilisez un plugin tel que JCH-optimize, qui combine de multiples fichiers CSS et Javascript en fichiers uniques, vous pourriez avoir besoin de spécifier un Allow comme ceci :

Allow: /plugins/system/jch_optimize/assets2/
Allow: /plugins/system/jch_optimize/assets/

Précisez l'emplacement de votre sitemap

Le fichier robots.txt peut être aussi utilisé pour préciser l'emplacement de votre fichier xml-sitemap xml, c'est à faire si celui-ci n'est pas situé à la racine de votre site, ce qui est communément le cas si votre sitemap est générée par une extension Joomla comme PWT Sitemap, Osmap, Jsitemap etc. Pour ce faire regarder dans les paramétrages de votre extension pour trouver l'emplacement de votre sitemap, puis ajouter le à la fin du fichier robots.txt, comme ceci :

Sitemap: index.php?option=com_osmap&view=xml&tmpl=component&id=1

Les mises à jour de Joomla et modification du fichier robots.txt

De temps en temps le projet Joomla met à jour le fichier robots.txt, par exemple en débloquant certains répertoires. Lorsque cela se produit ils ne fournissent pas simplement un nouveau fichier robots.txt, en effet cela aurait pour effet de d'effacer toute customisation que vous auriez pu lui apporter, ils fournissent par conséquent un fichier nommé robots.txt.dist. Si vous n'avez fait aucune customisation vous pouvez tout simplement supprimer votre fichier robots.txt existant et renommer le fichier robots.txt.dist en robots.txt.

Si vous avez customisé votre robots.txt, vérifiez les changements inclus dans le nouveau robots.txt.dist et copier ces modifications dans votre robots.txt customisé. En général, après une mise à jour Joomla vous serez notifié dans un message de post installation qu'une modification est disponible. Notez que la même procédure est applicable pour le fichier .htaccess .

Balise meta robots

La balise meta robots, est une meilleur solution pour bloquer l'indexation de contenu, mais vous ne pouvez le faire que pour des URLs et non pas pour des répertoires systèmes. Cette une méthode très efficace pour mettre du contenu hors de l'index Google. Avec Joomla vous avez la possibilité de paramétrer cette balise à différents endroits en même temps que vous saisissez d'autres paramétrages SEO comme les méta description. Sur un niveau global pour votre site, laissez le paramétrage par défaut de page Configuration Globale dans la rubrique Métadonnées. Comme vous pouvez le voire, vous avez 4 combinaisons de paramétrage possibles :

robots meta

À moins que vous ne souhaitiez cacher votre site aux moteurs de recherche (ce qui est utile pour le développement), laissez l'option par défaut Index, Follow . Pour des pages spécifiques, vous pouvez modifier ce paramètre, soit à partir de l'article, soit à partir de l'élément de menu. Par exemple : les pages de recherche interne ne doivent pas être indexées, mais vous souhaitez que les liens soient suivis : réglez la balise sur No index, follow. Vous trouverez plus d'informations à ce sujet dans l'E-book.

Lorsque vous utilisez la Balise meta robots, vous créez le code suivant dans votre HTML, ce qui vous permet de vérifier facilement si votre configuration est correcte :

<meta name="robots" content="NOINDEX, NOFOLLOW">

Un avertissement : si vous utilisez Noindex, Nofollow pour cacher vos sites en cours de développement, assurez vous de changer ce paramétrage une fois que le site est en ligne (cela m'est arrivé...), sinon vos scores de référencement seront très mauvais... Pour en savoir plus sur ce sujet, consultez cet article sur Moz.com.. :

Paramétrages des Snippets 

En 2019, Google a introduit un paramétrage avancé pour le meta robots tag dans le but de configurer comment vos snippets doivent être rendus. Il y a plusieurs combinations possibles, mais pour la plus part des sites, les paramétrages les paramétrages suivants sont conseillés pour une visibilité optimum dans les résultats de recherche :

<meta name="robots" content="max-snippet:-1, max-image-preview:large, max-video-preview:-1" class="4SEO_robots_tag">

Pour en savoir plus, vous pouvez consulter cette article searchengineland.com/google-adds-new-snippet-controls-to-enable-control-over-how-your-search-listings-are-displayed-322456.

Pour les mettre en place vous aurez besoin d' une extension ad hoc. Certaines extensions SEO le font telle que 4SEO.

Cet article est une traduction libre du tutoriel de Simon Kloostra : : Robots.txt + meta tag

Ils nous ont fait confiance

Universités & organismes de recherche

L' INSERM - unité U999, Université Paris Sud - Centre Chirurgical Marie Lannelongue

The Center for Groundwater Studies - Australie

L 'ENSAE : École Nationale de la statistique et de l'administration

La Maison des Sciences de l'Homme Paris Nord , UMS de l'université Paris 8, de l'université Paris 13 et du CNRS

L' Institut Supérieur de Développement - ISD Flaubert

Monpellier RIO imaging (MRI), plate - Forme Technologique (PFT), labellisée IBiSA.

CNRS - INEE  Le Laboratoire d'Excellence Dispositif de Recherche Interdisciplinaire sur les Interactions Hommes-Milieux (LabEx DRIIHM)

Organismes publics

Ministère de la défense : État Major de la 3ème Brigade Mécanisée

La mairie de la ville de Marly le Roi

La mairie de la ville de Breuillet

La mairie de la ville de Thuir

L' Agence Locale de l'Energie de la métropole marseillaise

L' Institut de Formation en Masso-kinésithérapie de Montpellier - Centre Hospitalier Universitaire de Bellevue

Le Centre de Gestion de la fonction Publique Territoriale des Alpes de Haute Provence

La Capitelle - couveuse d'entreprises du Gard

Le Centre Social Intercommunal de Saint Quentin de la Poterie

Le collège & lycée Saint Charles

Le lycée Philippe Lamour

Le centre François Baclesse: Centre de Lutte Contre le Cancer (CLCC)

L' Etablissement Régional de Formations des Professions Paramédicale du Groupement d'Intérêt Public des Etablissement de Santé d'Avignon et du pays de Vaucluse

Entreprises

Astrium une filiale EADS No 1 européen et No 3 mondial de l'industrie spatiale

Messer France

Photonlines

Shânti Gestion

App-Line

Vincent et Mireille

Axiom Information

Galerie Art City

Le Château de Boisson

LM Control

Vagabonde International

Photonlines Energy

la Pisciculture la Croisière

FHSolution

NaturEditions

Etudions à l'étranger

E.P.A.

Microeconomix

Alatak

Jade Black Design

Une bague une destinée

Schmulb

Espace revêtements

Partenaire de réussite

Stylitek

Fun-Kart

The Crew Coach

Sanitval

Ateliers d'écriture de Virginie Lou

cam4you

SDB+

Armelle Bongrain - architecte d'intérieur

ECIM

Riveria Expat Consultants

Florence Thorez - Diététicienne Nutritionniste

Le Séchoir

Le Moulin de Bouydou

L' Espace de Formation Clinique et Psychanalytique

Cours de musique à Montpellier

Leads Planet

Agerix

Etudions à l'étranger

Biopreserv

Aloes RED

InfoTour

EverNew

Synalabs

Bureau d'Etudes Arlaud

Stage de musique été

Fermetures Neuvillaises

Linguapolis

Weblligence

ASD Protect

Véronique Crépaux

Françoise Léon

Inovtolerie

BlueSafe

Viasocial

Repco Marine

King Jouet

Dr Abbas

ER3M

Cryo'net

Vectoring Talents

Desir d'écrire

Dr Girardin

Installation yperreault

Viaortho

Viadentiste

Alice Sweet Home

Cannes property services

La méthode Silva

Les outils du mieux être

Pinceaux et Camaïeux

Viacoach

ASH Conciergerie

MC Coaching Pro

Argos communication 

Cpsforma

Hervé Graille - Architecte 

Adrien Baguet - Architecte

Ingelic

Coach du bonheur

ONG / Associations

UNESCO: International Music Council

L' Association de Recherche en Soins Infirmiers

L' Union Internationale Contre la Tuberculose et les maladies respiratoires

Le Centre National des Risques Industriels

L' Institut International des Hautes Études en Psychanalyse

SurdiFrance : Association nationale de malentendants

La fondation Internationale de l'Hôpital Albert Scmhweitzer à Lambaréné

La Maison des Professions Libérales Ile de France

Le Conseil National de l' Enseignement Agricole Privé

La ligue Dauphiné Savoie de tennis

Le Conseil Permanent Régional des Associations d’Environnement

Le Syndicat des Podologues d'Île de France

La compagnie aux grands pieds

L' Espace de l'Ouest Lyonnais

Les Courants d'Airs

Nîmes Volley Ball

Le Club photo de Saint-Laurent-du-Var 

En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies pour notamment réaliser des statistiques de visites