Fonctionnement d'un moteur de recherche

Comment arrivent les informations présentes lors de vos recherches sur un moteur recherche ?

Les pages Internet sont indexées par des moteurs de recherche, les termes répertoriés enrichissant un index régulièrement mis à jour. Pour "scanner" le web et les millions de site web, les moteurs utilisent un "spider".
Un spider est un logiciel très simple. Il ne sait faire que deux choses :

La plupart des moteurs gèrent le crawling de manière "différenciée"et non "linéaire". Ils visitent plus souvent les pages qui renouvellent leurs contenus (très souvent mises à jour) et se rendent moins souvent sur les pages "statiques".

Une page qui est mise à jour quotidiennement (ex: un site d'actualité) sera visitée chaque jour ou tous les deux jours par le robot tandis qu'une page rarement modifiée sera "crawlée" moins souvent.

Le processus de fonctionnement du spider (robot):

Robot

trouve une page, la sauvegarde

détecte les liens qu'elle contient

se rend aux pages de destination de ces liens

les sauvegarde

...