Was ist das Crawl-Budget?
Das Crawl-Budget bezeichnet die Anzahl an Seiten, die ein Suchmaschinen-Bot wie der Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlen möchte und kann. Es setzt sich aus zwei Hauptfaktoren zusammen:
- Crawl-Rate-Limit: Wie viele Anfragen eine Suchmaschine an eine Website sendet, ohne diese zu überlasten.
- Crawl-Nachfrage: Das Interesse der Suchmaschine an bestimmten Seiten, basierend auf Faktoren wie Popularität, Aktualität und SEO-Wert.
Bei großen oder komplexen Websites kann das Crawl-Budget darüber entscheiden, wie viel Content tatsächlich entdeckt und indexiert wird.
Warum ist das Crawl-Budget wichtig?
Das Crawl-Budget spielt eine entscheidende Rolle dabei, sicherzustellen, dass alle wichtigen Seiten einer Website von Suchmaschinen gefunden, gecrawlt und indexiert werden. Wenn Crawler unnötige URLs durchsuchen, wie doppelte Inhalte, Filterseiten oder veraltete Seiten, kann dies dazu führen, dass relevante Inhalte übersehen werden.
Vorteile einer gezielten Steuerung des Crawl-Budgets:
- Bessere Abdeckung wichtiger Seiten in den Suchergebnissen
- Schnellere Erkennung neuer oder aktualisierter Inhalte
- Geringere Serverbelastung durch gezieltes Crawling
- Verbesserte Gesamtleistung in der organischen Suche
Das Crawl-Budget ist besonders relevant für Websites mit vielen Seiten, z. B. Online-Shops, große Magazine oder Plattformen mit dynamisch generierten Inhalten.
Praxisbeispiel
Ein Online-Shop mit 20.000 Produktseiten generiert zusätzlich Tausende von Filter-URLs. Wenn Googlebot den Großteil seines Crawl-Budgets auf diese Filterseiten verwendet, besteht die Gefahr, dass neuere oder wichtigere Inhalte nicht indexiert werden. Mit robots.txt, noindex-Tags und Canonical-Tags lässt sich das Crawl-Verhalten gezielt steuern.
Verwandte Begriffe
- Crawling
- Indexierung
- Robots.txt
- Canonical-Tag
- Technisches SEO