fbpx
Das Crawling Budget ist abhängig vom Pageranking. (Beitragsbild: geralt/pixabay.com)

Definition von Crawling Budget

Crawling Budget ist der Ausdruck für die Ressourcen, die Suchmaschinenbetreiber wie Google aufwenden, um die Inhalte einer Website zu erfassen und sie zu indexieren. Das Crawling Budget ist abhängig vom Pageranking. Das bedeutet: Wird eine Website als gut bewertet, wird sie in kürzeren Zeitabständen und in einem höheren Umfang gecrawlt als eine unbedeutende Website.

In der Google Search Console lassen sich die Crawl-Statistiken der letzten 90 Tage abrufen. So erhält man einen Eindruck davon, wie oft und wie umfangreich die eigene Website von den Suchmaschinenbots aufgesucht wird. Ist man mit dem Ergebnis nicht zufrieden, lässt sich die Frequenz durch eine gezielte Suchmaschinenoptimierung (SEO) positiv beeinflussen. Wichtige Faktoren sind dabei eine gute Struktur der Website und hochwertige Inhalte. Faktoren, die eine gute Struktur ausmachen, sind unter anderem eine schlüssige Benennung der Unterseiten sowie das Vermeiden 404-Fehlerseiten.

Warum Fehlerseiten nicht hilfreich sind, zeigt ein Blick auf die Vorgehensweise der Crawler: Fangen Sie bei der Startseite an  und arbeiten sich über Hyperlinks durch das Webangebot. Fehlerseiten führen allerdings ins Leere und verhindern, dass sich die Crawler über die Linkstruktur weiter durch die Website arbeiten können. Hinzu kommt: Auch wenn sie keine relevanten Inhalte haben, die ausgelesen werden können, beanspruchen sie natürlich das Crawling Budget. Eine Seite mit einem hochwertigen Inhalt kann dann unter Umständen nicht gecrawlt werden.

Crawling Budget: Mit Suchmaschinenoptimierung die Ressourcen gezielt einsetzen.

Das Problem besteht allerdings auch, wenn eine Website viele Unterseiten hat. Es wird unter Umständen nur ein Teil gecrawlt und indexiert. Deswegen kann es sinnvoll sein, zunächst eine schlanke Struktur aufzubauen. Wenn ein gutes Pageranking erreicht worden ist und der Suchbot die Website häufiger zum Crawlen aufruft, kann eine Ausweitung des Angebots sinnvoll sein. Unwichtige Seiten können durch Einträge der in der robots.txt vom Crawlen ausgeschlossen werden. Auch die Kennzeichnung von Nofollow-Links ermöglicht dies. Damit signalisiert man dem Crawler, dass er das den ausgewiesenen Link nicht folgen soll. Dies sind gute Möglichkeiten, um das begrenzt Crawling Budget sinnvoll einzusetzen.

In einem Blogpost, den Google im Januar 2017 selbst veröffentlicht hat, geht der Suchmaschinenbetreiber selbst auf das Thema ein. Dabei wird klar, dass viele Aktivitäten, die bei der Suchmaschinenoptimierung einer Website vorgenommen werden, auch positiv für das Crawling Budget sind. Denn wer auf seiner Website duplicate Content und minderwertige Inhalte bereitstellt, muss damit rechnen, dass die Website samt ihrer Unterseiten nicht mehr gecrawlt wird. Ebenso ist es wichtig, aktuelle Inhalte bereitzustellen.

Crawling Budget: Begrenzung ist kein Problem für kleine Websites

Gleichzeitig stellte Google klar, dass sich Betreiber von kleinen Websites keine Sorgen machen müssten, dass das Crawling Budget nicht ausreicht. Bis zu einer Zahl von 1000 Unterseiten reicht das Crawling Budget demnach aus. Wichtig ist es dennoch, dass durch eine gute SEO-Arbeit ein Anreiz zu regelmäßigen Crawlen geschaffen wird. Denn dann werden neue Inhalte schnell von der Suchmaschine indexiert.

Packen wir es an!

Sie benötigen Unterstützung in der Analyse und Optimierung Ihres Online-Shops oder Ihrer Homepage? Sie möchten die Sichtbarkeit in Suchmaschinen und in Social Media Netzwerken verbessern? Wir unterstützen Sie dabei tatkräftig, zuverlässig und schnell. Schreiben Sie uns!

Jetzt anfragen