Was ist Crawling?
Crawling bezeichnet den Prozess, mit dem Suchmaschinen neue und aktualisierte Seiten im Internet entdecken. Suchmaschinen wie Google verwenden Softwareprogramme, sogenannte Crawler oder Spider, um Links von einer Seite zur nächsten zu folgen und Informationen über Inhalte, Struktur und Metadaten zu sammeln.
Wenn ein Crawler eine Webseite besucht, liest er deren Inhalte und fügt sie dem Suchindex hinzu – vorausgesetzt, die Seite erfüllt bestimmte Kriterien. Dies ist der erste Schritt, damit eine Seite in den Suchergebnissen erscheinen kann.
Warum ist Crawling wichtig?
Wenn eine Seite nicht gecrawlt wird, kann sie nicht indexiert werden, und erscheint somit nicht in den Suchergebnissen. Die Crawl-Freundlichkeit einer Website ist ein zentrales Element des technischen SEO.
Verschiedene Faktoren können das Crawling beeinflussen:
- Defekte Links oder Fehler, die den Zugriff auf Seiten blockieren
- robots.txt-Dateien, die Crawlern den Zugriff verwehren
- Schlechte interne Verlinkung, wodurch Seiten schwer auffindbar sind
- Langsam ladende Seiten, die den Crawl-Prozess behindern
- Duplicate Content, der die Crawl-Effizienz verringert
Eine gut strukturierte, crawlerfreundliche Website hilft Suchmaschinen, Inhalte effizient zu entdecken und zu verstehen.
Praxisbeispiel
Du veröffentlichst einen neuen Blogartikel auf deiner Website. Wenn Googles Crawler deine Seite erneut besucht, folgt er internen Links oder dem Sitemap-Eintrag zur neuen Seite. Ist sie zugänglich und erfüllt die Qualitätsrichtlinien, wird sie gecrawlt und kann anschließend indexiert werden.
Website-Betreiber können das Crawling über Einstellungen wie robots.txt, noindex-Tags oder canonical-URLs steuern.
Verwandte Begriffe
- Indexierung
- robots.txt
- Sitemap
- Googlebot
- Technisches SEO