Crawl Budget

Das Crawl Budget ist die maximale Anzahl an Crawls pro Website bzw. Domain. Um Ressourcen zu schonen, reduzieren die Betreiber von Crawlern damit Zeit und Kosten, die der Crawler auf einer Website verbraucht.

Häufig wird das Crawl Budget zu früh berücksichtigt und Seiten werden gelöscht, obwohl dafür kein Grund existiert. Grundsätzlich wird das Crawl Budget erst bei tausenden von Unterseiten zum Problem. Vorher solltest du dir dazu keine Gedanken machen.

Auch relevant:
Crawler