blog alpha design joomla

Le blog d' Alpha Design Joomla et autres ...

Est ce que le robots.txt bloque les bons fichiers de mon site ?

Valentin Garcia est l'auteur de l’article Is Robots.txt Blocking the Right Files on My Site? dont la traduction est autorisée par ostraining.com

robots testerPar défaut toutes les URLs de votre site peuvent être  indexées par Google. Cependant si vous souhaitez que certaines pages spécifiques ne soient pas indexées par Google, vous pouvez utiliser votre fichier robots.txt.

Dans votre robots.txt vous prouvez spécifiez à Google de ne pas indexer certaines de vos pages en utilisant la règle "Disallow": 

Disallow: /ne-pas-scanner-cette-url/

Dans ce tutoriel, je vais vous montrer comment utiliser la Google Search Console (ex Google Outils pour les Webmasters) pour vérifier si vous avez réussit à bloquer l'indexation d'une URL spécifique .

Vérifiez que l'URL est bien en Disallow

Pour utiliser cet outil, vous avez besoin d'avoir votre site vérifié dans la Google Search Console.

  • Rendez-vous sur la page de test du robots.txt
  • Choisissez une propriété validée à partir la liste déroulante. Si votre site n'est pas listé cliquez sur le bouton Ajouter une propriété, puis continuez le processus et revenez à ce tutoriel.

tester votre robots.txt 1

L'écran suivant chargera le contenu de votre fichier robots.tx, il est situé à la racine de votre site : www.votresite.any/robots.txt. L'emplacement de ce fichier est le même que vous utilisiez Joomla, Drupal ou WordPress ou tout autre plateforme.

tester votre robots.txt 2

En bas de cet écran, entrez une URL pour confirmer qu'elle est bien "Disallowed" dans le robots.txt. Choisissez de laisser Googlebot comme bot de recherche. Cliquez sur le bouton TESTER.

tester votre robots.txt 3

Si une règle  Disallow correspond à l'URL saisit, elle apparaîtra en rouge et le bouton TESTER est remplacé par BLOQUEE .

tester votre robots.txt 4

Ce qui confirme que cette URL ne sera pas indexée par Google.

Comment "Disallow" des URLs avec des variables

Il est facile de "disallow" une URL simple, cependant comment peut-on "disallow" tout une série d'URLs avec des variables ?

Prenons un exemple pour clarifier cette approche, nous voulons "disallow" ces pages:

www.votresite.any/en/component/content/
www.votresite.any/en/component/weblinks/
www.votresite.any/fr/component/content/
www.votresite.any/fr/component/weblinks/

Je pourrai bien sur ajouter 4 lignes dans le fichier robots.txt, une ligne par URL. Mais je peux aussi obtenir le même résultat avec une seul ligne qui cible ces pages en utilisant des variables :

 Disallow: /*/component/*

Cette syntaxe s’applique aux 4 URLs ci-dessus. Dans ce contexte les * sont des variables qui remplacent les caractères en gras des 4 pages ci-dessus.

Pour confirmer que ce type de variables sont bien comprises par Google bot nous pouvons tester et constater que ces 4 URLs sont bien "disallowed" :

  • www.votresite.any/en/component/content/ 

tester votre robots.txt 5

  •  www.votresite.any/en/component/weblinks/

tester votre robots.txt 6

  • www.votresite.any/fr/component/content/

tester votre robots.txt 7

  • www.votresite.any/fr/component/weblinks/

tester votre robots.txt 8

Ils nous ont fait confiance

Universités & organismes de recherche

L' INSERM - unité U999, Université Paris Sud - Centre Chirurgical Marie Lannelongue

The Center for Groundwater Studies - Australie

L 'ENSAE : École Nationale de la statistique et de l'administration

La Maison des Sciences de l'Homme Paris Nord , UMS de l'université Paris 8, de l'université Paris 13 et du CNRS

L' Institut Supérieur de Développement - ISD Flaubert

Monpellier RIO imaging (MRI), plate - Forme Technologique (PFT), labellisée IBiSA.

CNRS - INEE  Le Laboratoire d'Excellence Dispositif de Recherche Interdisciplinaire sur les Interactions Hommes-Milieux (LabEx DRIIHM)

Organismes publics

Ministère de la défense : État Major de la 3ème Brigade Mécanisée

La mairie de la ville de Marly le Roi

La mairie de la ville de Breuillet

La mairie de la ville de Thuir

L' Agence Locale de l'Energie de la métropole marseillaise

L' Institut de Formation en Masso-kinésithérapie de Montpellier - Centre Hospitalier Universitaire de Bellevue

Le Centre de Gestion de la fonction Publique Territoriale des Alpes de Haute Provence

La Capitelle - couveuse d'entreprises du Gard

Le Centre Social Intercommunal de Saint Quentin de la Poterie

Le collège & lycée Saint Charles

Le lycée Philippe Lamour

Le centre François Baclesse: Centre de Lutte Contre le Cancer (CLCC)

L' Etablissement Régional de Formations des Professions Paramédicale du Groupement d'Intérêt Public des Etablissement de Santé d'Avignon et du pays de Vaucluse

Entreprises

Astrium une filiale EADS No 1 européen et No 3 mondial de l'industrie spatiale

Messer France

Photonlines

Shânti Gestion

App-Line

Vincent et Mireille

Axiom Information

Galerie Art City

Le Château de Boisson

LM Control

Vagabonde International

Photonlines Energy

la Pisciculture la Croisière

FHSolution

NaturEditions

Etudions à l'étranger

E.P.A.

Microeconomix

Alatak

Jade Black Design

Une bague une destinée

Schmulb

Espace revêtements

Partenaire de réussite

Stylitek

Fun-Kart

The Crew Coach

Sanitval

Ateliers d'écriture de Virginie Lou

cam4you

SDB+

Armelle Bongrain - architecte d'intérieur

ECIM

Riveria Expat Consultants

Florence Thorez - Diététicienne Nutritionniste

Le Séchoir

Le Moulin de Bouydou

L' Espace de Formation Clinique et Psychanalytique

Cours de musique à Montpellier

Leads Planet

Agerix

Etudions à l'étranger

Biopreserv

Aloes RED

InfoTour

EverNew

Synalabs

Bureau d'Etudes Arlaud

Stage de musique été

Fermetures Neuvillaises

Linguapolis

Weblligence

ASD Protect

Véronique Crépaux

Françoise Léon

Inovtolerie

BlueSafe

Viasocial

Repco Marine

King Jouet

Dr Abbas

ER3M

Cryo'net

Vectoring Talents

Desir d'écrire

Dr Girardin

Installation yperreault

Viaortho

Viadentiste

Alice Sweet Home

Cannes property services

La méthode Silva

Les outils du mieux être

Pinceaux et Camaïeux

Viacoach

ASH Conciergerie

MC Coaching Pro

Argos communication 

Cpsforma

Hervé Graille - Architecte 

Adrien Baguet - Architecte

Ingelic

Coach du bonheur

ONG / Associations

UNESCO: International Music Council

L' Association de Recherche en Soins Infirmiers

L' Union Internationale Contre la Tuberculose et les maladies respiratoires

Le Centre National des Risques Industriels

L' Institut International des Hautes Études en Psychanalyse

SurdiFrance : Association nationale de malentendants

La fondation Internationale de l'Hôpital Albert Scmhweitzer à Lambaréné

La Maison des Professions Libérales Ile de France

Le Conseil National de l' Enseignement Agricole Privé

La ligue Dauphiné Savoie de tennis

Le Conseil Permanent Régional des Associations d’Environnement

Le Syndicat des Podologues d'Île de France

La compagnie aux grands pieds

L' Espace de l'Ouest Lyonnais

Les Courants d'Airs

Nîmes Volley Ball

Le Club photo de Saint-Laurent-du-Var 

En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies pour notamment réaliser des statistiques de visites