Crawler

 

Crawler:

Ein Computerprogramm, das Webseiten automatisch nach Informationen absucht und analysiert. Wird auch „Spider“ oder „Searchbot“ genannt. Crawler werden hauptsächlich von Suchmaschinen wie Google verwendet, um Webseiten zu indexieren (Ranking). Deshalb ist die Suchmaschinenoptimierung wichtig, da diese relevante Informationen für Crawler bereitstellt.