INS CMS Ecommerce

Crawler

Crawler, auch Bot oder Spieder genannt ist ein automatisches Programm, welches von Webseite zu Webseite allen HTML-Links zu anderen Webseiten folgt und so das gesamte Web durchsucht.

Meist gehören Crawler zu Suchmaschinen und durchsuchen und indizieren für dieses das Web.

Die drei bekanntesten Suchmaschinen-Crawler sind:
  • Googlebot - der Crawler von Google
  • Yahoo! Slurp - der Crawler von Yahoo
  • Msnbot - der Crawlder von MSN


Crawler werden auch von sogenanten Content-Klauern verwendet, um von populären Seiten die Inhalte automatisiert zu kopieren und auf den eigenen Seiten anzuzeigen, um in den Suchmaschinen selber besser gelistet zu werden.