Definition von Webcrawler

WebCrawler ist eine Internet-Suchmaschine, die seit 2001 zur Firma InfoSpace Inc. mit Hauptsitz in Bellevue (Washington, USA) gehört.

Ein Webcrawler (auch Spider oder Robot, kurz Bot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind beispielsweise das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderer Informationen.