Googlebot

Der Googlebot ist ein Crawler, der für Google automatisiert die Inhalte von Websites liest, verarbeitet und indexiert. Der Googlebot kann durch Angaben in der robots.txt oder durch Meta-Tags vom Lesen bzw. Indexieren bestimmter Inhalte abgehalten werden.

Der Googlebot bildet die Grundlage für die Suchergebnisse in Google (SERPs) und ist daher elementar für die Suchmaschinenoptimierung. Speziell Bereiche wie Indexierbarkeit und Crawl Budget spielen hier eine Rolle.

Auch relevant:
Crawl Budget
Crawler
Indexierbarkeit
Meta-Tags
robots.txt
SERP