Robots.txt

Eine robots.txt ist eine einfache Textdatei im Hauptverzeichnis Deiner Website, die Suchmaschinen-Crawlern sagt, welche Bereiche sie crawlen dürfen – und welche nicht. Sie steuert damit vor allem das Crawling, nicht automatisch die Indexierung: Eine URL kann trotz Sperre unter Umständen trotzdem in den Suchergebnissen auftauchen, wenn sie extern verlinkt ist.

Typische Einsätze sind das Blockieren von Admin-Bereichen, Testverzeichnissen oder Parametern, die unnötige Duplikate erzeugen. Gleichzeitig kannst Du dort auch den Pfad zu Deiner Sitemap angeben, damit Bots wichtige Seiten schneller finden.

• Gut für SEO: Crawl-Ressourcen gezielt auf relevante Inhalte lenken
• Riskant: Falsch gesetzte Regeln können ganze Bereiche aus dem Crawl ausschließen
• Tipp: Prüfe Änderungen immer in der Google Search Console, bevor Du live gehst