Ein Crawler bezeichnet ein softwaregeschützter Roboter, der selbstständig das Internet durchsucht und Webseiten vollständig ausliest und indexiert. Sie sind das Kerninstrument aller Suchmaschinen, um Inhalte im Internet auffinden und indexieren zu können. Da die Suche automatisch abläuft, werden die Crawler auch Robots genannt. Da ihre Wege im Internet einem Spinnennetz ähneln, werden sie häufig auch als Spider bezeichnet.
