Crawler

Crawler, auch Bot oder Spieder genannt ist ein automatisches Programm, welches von Webseite zu Webseite allen HTML-Links zu anderen Webseiten folgt und so das gesamte Web durchsucht.

Meist gehören Crawler zu Suchmaschinen und durchsuchen und indizieren für dieses das Web.

Die drei bekanntesten Suchmaschinen-Crawler sind:

• Googlebot - der Crawler von Google
• Yahoo! Slurp - der Crawler von Yahoo
• Msnbot - der Crawlder von MSN

Crawler werden auch von sogenanten Content-Klauern verwendet, um von populären Seiten die Inhalte automatisiert zu kopieren und auf den eigenen Seiten anzuzeigen, um in den Suchmaschinen selber besser gelistet zu werden.