Googlebot le Robot de Google une araignée qui a de la suite dans les idées

Crawler ou googlebot le robot de Google ?

Robot de Google ou Googlebot ? Nous passons de plus en plus de temps à butiner sur le net, Google est notre jardin. Pourquoi certains sites web sont-ils placés en haut des résultats et d’autres plus bas dans le classement ? Le référencement naturel consiste à faire monter le classement d’un site uniquement par des actions de paramétrage, d’optimisation de contenu mais également de notoriété du site sur la toile. Le référencement payant est principalement fondé sur un classement de votre site en fonction du prix que vous êtes prêt à mettre par mot-clé et par clic, pour peu que vos concurrents ne paient pas plus cher. C’est un référencement coûteux, mais qui peut s’avérer utile surtout lorsque le site est jeune.

Pensez-vous être seuls ? Eh bien, non, il y a le robot de Google et bien d’autres, mais de quoi il parle le monsieur ?

Il ne s’agit pas ici de répondre à la question qu’est-ce qu’un moteur de recherche même si nous allons évoquer l’une des parties du fonctionnement de ces programmes informatiques.

Nous visitons des sites, nous naviguons au gré de nos envies et de nos humeurs d’une page à l’autre, mais savez-vous que des non-humains ratissent méthodiquement la toile de manière continue ? Le robot de Google est le principal à le faire, mais il y en a de plus en plus et notre beau jardin est truffé d’autres que nous qui discrètement analysent tout.

Il en existe des centaines qui parcourent le net tous les jours avec pour chacun une mission bien précise. Suivez bien le guide et attachez votre ceinture, surtout si ce monde des robots vous est inconnu, il s’agit ici de faire connaissance avec ce monde parallèle.

Bienvenue dans le monde merveilleux des robots

Rassurez-vous, vous n’êtes pas dans un de ces films où il s’agit de robots qui prennent le contrôle sur l’humain (quoi que). Les robots dont il est question sont en fait de programmes informatiques pour exécuter une tâche spécifique. Si vous êtes un fan de jeux vidéo alors vous en avez croisé, ce sont les adversaires imaginaires qui vous font transpirer et vous acharner sur votre portable frénétiquement. Ce sont des robots qui sont programmés pour réagir à vos actions et décisions, mais il y a un cerveau humain derrière tout cela, un cerveau qui a anticipé vos décisions pour les implémenter dans ces fameux robots.

Et les Robots du Web ?

Sur le web, il s’agit également de remplir des tâches humaines et ce sont des robots qui remplissent ces tâches, des milliers arpentent déjà les couloirs du net. Vous voulez des exemples ? Lorsque vous allez en vacances, vous demandez à votre gestionnaire d’e-mails qu’il avertisse les correspondants qui tentent de vous joindre, de votre absence, le message automatique est produit par un robot. Vous recevez un message de remerciements ou un récapitulatif de votre commande en cas d’achat en ligne, encore un robot.

De même la simple réponse  »automatique » d’un e-mail avertissant vos correspondants que vous êtes absent ou qui vous remercie après avoir remplis un formulaire de contact ou réalisé un achat, tout cela est réalisé par des robots.

Le Robot de google j’ai nommé Googlebot

Rentrons dans le vif du sujet avec l’objet même de ce post. Après vous avoir parlé des robots en général nous allons aborder de l’un des robots les plus connus du web, le robot de Google j’ai nommé  »Googlebot », il est la pierre angulaire de Google et tous l’empire de google et de son moteur de recherche repose sur ce robot.

Google et les moteurs de recherche comment ça marche ?

Un moteur de recherche doit permettre aux internautes de pouvoir trouver rapidement l’information recherchée en proposant une liste de résultats classée par pertinence par rapport aux mots clés saisis. Il existe un nombre incroyablement élevé de sites, la tâche est très complexe et elle le devient de plus en plus au fil du temps. Google doit obligatoirement connaître le contenu d’un site et le comprendre pour pouvoir créer un classement et donner un résultat pertinent à l’internaute. Comment toutes ces données sont-elles collectées  ? C’est la que rentre en scène Googlebot.

Les données dont Google a besoin ne se devinent pas il faut une solution pour extraire, analyser et classer toutes les modifications de tous les sites du monde entier. Il est parfaitement impossible de confier cette tâche à un humain nous en sommes actuellement à plus de 2 milliards de sites web (et le chiffre augmente chaque minute) qui changent perpétuellement. C’est pourquoi, Googlebot, le robot de Google a été créé, ce sont des centaines de milliers de programmes qui analysent tous les sites web du monde dans toutes les langues en permanence pour donner en temps réel à Google une image des changements et ainsi permettre de tenir à jour l’index et le positionnement de chaque site web (SERP).

Au moment ou cet article est publié sur la toile, il  y a probablement un robot de google qui se précipite sur ce site pour découvrir ces mots et les transmettre à Google qui change le classement de cette page et des pages auxquelles elle est liée.

Un moteur de recherche n’est ni plus ni moins qu’un programme informatique avec une énorme base de données. La place d’un site web dans les classements Google n’est liée à aucune action humaine.

Les grands principes de Googlebot

Googlebot est très sophistiqué et complexe, il est en perpétuel amélioration, comprendre son fonctionnement est fondamental pour bien réussir son référencement naturel.

On connait déjà le comportement de Googlebot qui agit comme un espion. Lorsqu’il arrive sur votre site web il analyse les pages une par une et transmet à Google le code HTML de chacune d’elles. Il va ensuite rechercher chaque lien de chacune de vos pages et cliquer dessus comme le ferait un utilisateur humain pour arriver sur une nouvelle page et recommencer en sautant de site en site et ainsi de suite.

Vous avez le principe général de Googlebot mais également des autres robots des autres moteurs de recherche.

Googlebot est totalement aveugle et ne voit que le texte, images, vidéos et autres médias lui sont totalement étrangers. Il ne pourra les comprendre qu’au travers des explications textuelles associées à ces médias (nom de fichier, description, attribut ALT, etc…).

Certains veulent accélérer le processus en faisant ce qui se faisait il y a quelques années, c’est à dire  »soumettre un site web » mais cette action est de moins en moins utile.

La fréquence de passage de Googlebot

Lorsque vous mettez en ligne un nouveau site quelques jours peuvent s’écouler avant que Googlebot découvre votre site, il va l’explorer entièrement et Google vous placera dans son index. Dans les jours suivants il reviendra rendre visite à votre site assez souvent et continuera à le faire si entre 2 visites votre site aura évolué. Il espacera ses visites si votre site reste inchangé et statique. Il est donc fondamental d’avoir un site en perpétuel changement.

Le référencement naturel un projet sur la durée

Vous avez mis en ligne un nouveau site ? Googlebot l’a indexé ? Alors pourquoi suis-je toujours en page 18 lorsque je fais une recherche sur l’un de mes mots clés phare ?

Google prend son temps avant de vous donner du crédit, le robot de google passera de nombreuses fois et observera votre travail et sa qualité sur la durée. Votre progression sera lente, si vous ne vous découragez pas et que vous respectez les principes fondamentaux du référencement alors vous serez récompensé et atteindrez les sommets.

Le plus souvent vos concurrents ne chôment pas et s’ils sont en première place ce n’est pas pour rien, il vous faudra faire mieux qu’eux pour les déloger.

Les pénalités Google

Le robot de Google analyse votre site, il peut vous donner des bons points et faire progresser votre classement mais il peut également vous donner des mauvais points s’il juge que vous avez transgressé ses règles. Si votre contenu est une simple copie d’un autre article ou si vous avez répété votre mot clé des centaines de fois sur une page vous risquerez de recevoir un carton jaune. Les principales conséquences d’une pénalité sont bien évidemment, une rétrogradation dans les classements mais également une diminution de visite par le robot de Google, ce qui rend votre remontée plus lente.

Conclusion

La connaissance du fonctionnement du robot de google et de ceux des moteurs de recherche est fondamental pour réussir son référencement. Toutes les actions réalisées vont dans ce sens. La stratégie digitale est fondamentale au départ pour construire le plan d’action,  définir les objectifs et les outils indispensables pour mesurer l’évolution du classement et du trafic dans le temps.

 

 

Plus de publications