Robot de moteur

Robots des moteurs de recherche :

Les moteurs de recherche ont tous leurs robots, on les appelle aussi spider, crawler, araignée, bot,… Ce sont des programmes qui parcourent le web en permanence, en surfant de lien en lien, et qui recueillent les informations contenues dans les pages pour les enregistrer dans les bases de données des moteurs. Ils ont souvent un nom, « Googlebot » « Yahoo ! Slurp »…

Leur système de navigation se rapproche beaucoup de la façon dont les internautes naviguent de page en page. Ainsi il faut s’appliquer dès la conception d’un site, à créer un bon maillage interne de liens.

Les robots de moteurs de recherche sont de plus en plus sophistiqués, et arrivent aujourd’hui à interpréter la mise en page d’un site. Ils peuvent repérer les différentes zones de navigation (menu, pied de page, corps du texte…).