Crawler

Ein Crawler (auch: Webcrawler oder Bot) ist ein Programm, das Websites systematisch besucht, Inhalte abruft und für Suchmaschinen auswertbar macht. Dabei folgt er Links, liest Quellcode und entscheidet, welche Seiten für den Index relevant sind.

Für Deine SEO bedeutet das: Nur was der Crawler problemlos erreichen, verstehen und effizient verarbeiten kann, hat gute Chancen auf stabile Rankings. Typische Stolpersteine sind blockierte Bereiche, Endlos-Schleifen durch Parameter-URLs oder fehlende Hinweise, welche Seiten wirklich wichtig sind.

• Robots.txt steuert, was gecrawlt werden darf.
• Eine saubere Sitemap hilft, neue/aktualisierte Seiten schneller zu finden.
• Ein optimiertes Crawl Budget verhindert, dass unwichtige URLs Ressourcen fressen.

Wenn Du merkst, dass wichtige Seiten selten oder gar nicht gecrawlt werden, lohnt sich ein technischer Check – z. B. über die Google Search Console und eine klare interne Verlinkung.