Crawler, auch Bot oder Spieder genannt ist ein automatisches Programm, welches von Webseite zu Webseite allen HTML-Links zu anderen Webseiten folgt und so das gesamte Web durchsucht.
Meist gehören Crawler zu Suchmaschinen und durchsuchen und indizieren für dieses das Web.
Die drei bekanntesten Suchmaschinen-Crawler sind:
- Googlebot - der Crawler von Google
- Yahoo! Slurp - der Crawler von Yahoo
- Msnbot - der Crawlder von MSN
Crawler werden auch von sogenanten Content-Klauern verwendet, um von populären Seiten die Inhalte automatisiert zu kopieren und auf den eigenen Seiten anzuzeigen, um in den Suchmaschinen selber besser gelistet zu werden.