Crawler

Ein Crawler, auch Webcrawler oder Robots, ist ein Programm, das automatisiert Inhalte aus dem Internet liest, verarbeitet und ggf. speichert. Abhängig von den Eigenschaften des Crawlers können Texte, Bilder, Videos oder andere Inhalte gecrawlt werden.

Das bekannteste Beispiel ist der Googlebot, der die Daten für den Google-Index sammelt. Andere Crawler sind der Bingbot, Yahoo!Slurp oder der AhrefsBot.

Im Kontext der Suchmaschinenoptimierung spielt besonders das Beeinflussen von Crawlern durch die Robots.txt oder Meta-Tags wie noindex und nofollow eine Rolle.

Auch relevant:
Googlebot
Meta-Tags
nofollow
noindex
Robots.txt