C’est Google qui avait lancé le principe. Aujourd’hui, les 3 principaux moteurs s’allient pour imposer un protocole concernant les sitemaps.
Pour aider les webmasters à déclarer les pages à indexer dans leur site, Google avait crée le principe des sitemaps.
Ces fichiers de sitemaps sont des fichiers XML contenant tout simplement les urls des fichiers à crawler, avec quelques autres informations.
Maintenant, Google s’allie à Yahoo et MSN pour créer ensemble un protocole commun pour ce type de fichiers.
Tout ceci est décrit dans un site qui détaille l’ensemble de ces spécificités.