Was ist ein Crawl Budget und wie kann ich es optimieren um mein Ranking zu verbessern?

Wenn Sie eine Webseite haben, wird eines Ihrer Ziele sein, auf den ersten Seiten der Suchmaschinen Ergebnisse zu landen (SERPs). Dies ist prinzipiell nur möglich wenn Google Ihre Seite auch „mag“. In diesem Blogbeitrag werden wir über das Crawl Budget sprechen und erklären was es mit Ihrem Ranking zu tun hat.

blogTitle-web_crawler-w680h280

Das Ziel wenn es um SEO geht, ist es eine gute Position in den SERPs zu erreichen und vorzugsweise auf die erste Seite zu gelangen.

Es gibt viele Dinge, die Sie tun und optimieren können um dieses Ziel zu erreichen: Sie können Keywords recherchieren, guten Content erstellen, externe und interne Links verwenden und Ihr Crawl Budget optimieren.

Das Konzept hinter dem Crawl Budget ist sehr technisch, deshalb werden wir versuchen, es Ihnen auf eine einfache Art und Weise zu erklären.

Übersicht:

Was ist ein Crawl Budget?

blogimage-web_crawler

Bevor wir anfangen können, müssen wir drei Schlüsselbegriffe definieren und erklären. Diese werden oft als Synonyme verwendet und haben aber in Wirklichkeit ganz unterschiedliche Bedeutungen.

Also was ist eigentlich mit Scannen, Indizieren und Positionieren einer Seite gemeint?

  • Zunächst einmal scannt der Googlebot die Seite. Dabei kann es sich um eine neue Seite mit neuem Inhalt oder um eine bestehende Seite mit aktualisiertem Inhalt handeln.

  • Während des Scans wird die Seite indiziert, was bedeutet, dass sie in der Datenbank der Suchmaschine berücksichtigt wird und in den SERPs erscheinen kann.

  • Dann entscheidet Google, wo die Seite positioniert werden soll.

Nachdem wir das geklärt haben,  können wir starten und das Crawl Budget definieren:

Ein Crawl Budget ist der Zeitpunkt, an dem Google beschließt in die Indizierung und das Scannen der Seiten einer Webseite zu investieren. 

Schauen wir uns diese Definition etwas genauer an:

Der Web-Crawler (auch Googlebot gennant), ist für das Scannen jeder Seite im Web verantwortlich. Er führt einmal im Monat einen Deep Crawl und fast jeden Tag einen Fresh Crawl durch.

Der Googlebot besucht so viele URLs wie möglich, da Google immer hungrig nach Content ist. Der Scan soll einen Überblick über den neuen Content im Web verschaffen und dabei helfen den Nutzer*innen eine passende Antwort auf Ihre Suchanfragen geben zu können.

Content Marketing

Die Zeit, die der Web-Crawler mit der Indizierung und dem Scannen der Seiten verbringt ist nicht unbegrenzt. Im Gegenteil, nicht alle URLs werden regelmäßig gescannt. Deshalb ist die Optimierung Ihres Crawl Budgets sehr wichtig. Je besser Ihre Seiten sind, desto einfacher sind sie zu lesen. Zudem investiert der Web-Crawler umso mehr Zeit in das Lesen Ihrer Seiten.

Je mehr Seiten vom Web-Crawler gescannt und indiziert werden, desto größer ist auch die Chance, unter den ersten SERPs zu erscheinen.

Sie Fragen sich wahrscheinlich, wie viel Zeit der Crawler auf Ihrer Seite verbringt, wie Sie herausfinden können das Google Ihre Webseite gefällt und wie Sie Ihr Crawl Budget erhöhen können?

Diese Fragen beantworten wir im folgenden Abschnitt.

Lese-Tipp: Große Reichweite, kleine Kosten: Guerilla Marketing im E-Commerce 

So finden Sie heraus, wie hoch Ihre Crawl Budget ist

clessidra

Um die Googlebot-Aktivität auf Ihrer Seite zu verfolgen, ist Google Search Console sehr hilfreich. Mit diesem Tool können Sie herausfinden, wie viele Zeit die Suchmaschine Ihrer Webseite widmet und wie viel Zeit zwischen den einzelnen Scans vergeht. 

Die Aktivitäten des Web-Crawlers lassen sich leicht mithilfe des Tools ermitteln. Sie können sich die Statistiken des Scans wie folgt anzeigen lassen:

  • Gehen Sie zu Google Search Console

  • Klicken Sie auf „Vorherige Tools und Berichte“.

  • Klicken Sie auf „Scan-Statistik“

Es werden Ihnen daraufhin drei Diagramme, die nebeneinander aufgereiht sind, angezeigt. Das erste Diagramm zeigt die täglich gescannten Seiten. Das zweite zeigt die täglich heruntergeladenen Kilobytes und das dritte die Zeit, die mit dem Herunterladen einer Seite verbracht wurde.

Für das erste Diagramm gilt: je höher der Wert, desto besser. Für die zweite und dritte Grafik gilt jedoch das Gegenteil.

Zudem bedeutet ein schnelleres Herunterladen, dass mit dem verfügbaren Crawl Budget mehr Seiten gescannt werden können.

Lese-Tipp: 5 SEA-Fehler, die Sie vermeiden müssen! 

So bringen Sie Google öfter auf Ihre Webseite

Wenn Sie bemerkt haben, dass Ihr Crawl Budget nicht sehr hoch ist, brauchen Sie nicht in Panik geraten. Es gibt einige einfach Tricks, mit denen Sie den Googlebot dazu bringen können, das Scannen Ihrer Seite stärker in Betracht zu ziehen.

  1. Erstellen Sie regelmäßig hochwertigen Content.

  2. Aktualisieren Sie Ihren neuen und alten Content regelmäßig.

  3. Ihr Content sollte vielfältig sein, das bedeutet, dass Sie sich nicht nur auf die Produktion von Texten konzentrieren sollten. Bilder, Videos oder PDFs sind auch wichtige Content-Ideen, die Sie in Erwägung ziehen sollten.

  4. Vergewissern Sie sich, dass die Organisation Ihrer Sitemap klar und für Google lesbar ist, insbesondere wenn Sie eine große Webseite betreiben. Vergessen Sie auch nicht, Ihre Sitemap in der Google Search Console zu synchronisieren.

  5. Es ist auch wichtig, dass Sie interne Links auf allen Ihren Seiten haben. Der Googlebot könnte sonst in einer „Sackgasse“ enden, wenn Sie über Seiten verfügen, die keine internen Links beinhalten.

  6. Denken Sie auch an Backlinks. Je mehr Sie haben, desto wahrscheinlicher ist es, dass Google das Scannen Ihrer Seiten in Betracht zieht. Sie sind auch wichtig um die Bekanntheit Ihrer Seite zu erhöhen.

Die Bekanntheit Ihrer Webseite ist sehr wichtig. Laut Google „werden die beliebtesten URLs im Internet in der Regel häufiger gescannt, um sie in unserem Index auf dem neuesten Stand zu halten“.

Wie können Sie Ihr Crawl Budget optimieren?

blogimage-web_crawler-2

Wenn Sie die obigen Tipps befolgt haben und es geschafft haben, dass Google Ihnen und Ihrer Seite mehr Aufmerksamkeit schenkt, ist es jetzt wichtig, sich auf SEO zu konzentrieren.

„Optimieren“ bedeutet in diesem Sinne, die wenige Zeit, die der Googlebot Ihrer Seite widmet, zu maximieren.

Wenn Sie beispielsweise Seiten auf Ihrer Webseite haben, die keinen Mehrwert für die Nutzer*innen darstellen, riskieren Sie, dass der Googlebot wertvolle Zeit verliert. Das möchten Sie natürlich vermeiden.

Denken Sie immer daran:

Eine Webseite mit aktualisiertem Content erhöht das Crawl Budget. 

Im Gegensatz dazu verringert doppelter, qualitativ schlechter und nicht mehr aktueller Inhalt und 404 Seiten das Crawl Budget. 

Auch wenn es als sehr offensichtlich erscheint, ist die Erstellung von schlechtem Content kontraproduktiv. Tatsächlich besteht die Gefahr, dass der Googlebot seine Zeit mit dem Scannen der schlechten Seiten vergeudet, anstatt die Seiten mit hoher Qualität zu scannen.

Google ist bereits ziemlich gut in seinem Job, dennoch können Sie dem Unternehmen helfen, indem Sie Ihren Content immer Up-to-Date halten. Zudem ist es wichtig, dass Ihre Inhalte qualitativ hochwertig sind!

Es gibt also zwei Seiten des Crawl Budgets, die Sie optimieren können: Sie können erstens das Crawl Budget erhöhen und auch die Zeit zwischen den Scans verringern.

Lese-Tipp: 5 SEO-Tipps, die das Ranking Ihres Online-Shops verbessern 

8 Tipps mit denen Sie Ihr Crawl Budget optimieren und erhöhen können

1. Ein schneller Server

Die Geschwindigkeit des Servers ist entscheidend, da die Zeit, die der Googlebot den Seiten widmet, nicht unbegrenzt ist.

Wenn Sie die Download-Zeit Ihrer Seite optimieren, hat der Googlebot mehr  Zeit für andere Seiten. Hier sind einige Tipps, die Sie berücksichtigen können:

  • Investieren Sie in einen hochwertigen Server

  • Optimieren Sie den Quellcode, um ihn für den Web-Crawler „lesbarer“ zu machen.

  • Komprimieren Sie die Bilder auf Ihrer Seite, ohne dass die Qualität darunter leiden muss. Tinypng ist eine kostenlose Webseite, die die Dateigrößen der Bilder reduziert.

2. Die Struktur der Webseite (neu) organisieren

blogimage-web_crawler-3

Wahrscheinlich kennen Sie bereits dieses Bild, das zeigt, wie eine Webseite idealerweise aufgebaut sein sollte. Eine klare und lineare Struktur der Seiten auf Ihrer Webseite ermöglicht es Ihnen, Ihr Crawl Budget auszuschöpfen. Der Googlebot kann daher problemlos weitere Seiten scannen und indizieren.

Achten Sie auf die folgenden Punkte:

  • Befolgen Sie die berühmte Drei-Klick-Regel, die besagt, dass Nutzer*innen mit maximal drei Klicks von einer beliebigen Seite Ihrer Webseite zu einer anderen Seite Ihrer Webseite gelangen können.

  • Vermeiden Sie Seiten, die in einer "Sackgasse" enden. Damit meinen wir die Seiten, die keine internen oder externen Links beinhalten.

  • Verwenden Sie in der Sitemap kanonische URLs für Ihre Webseite. Selbst wenn dies nicht dazu beiträgt, Ihr Crawl Budget zu erhöhen, kann Google dadurch nachvollziehen, welche Seite es Scannen und Indizieren sollte.

3. Interne Links verwenden

Interne Links, die dazu dienen ein Thema mehr zu vertiefen, sollten auf die Seiten verweisen, die der Web-Crawler berücksichtigen soll.

Wenn Sie auf Ihre bevorzugten Seiten verweisen, haben Sie eine größere Chance, dass der Crawler diese am Ende scannt. Google konzentriert sich mehr auf Seiten, die viele Links (sowohl interne als auch externe) enthalten.

Interne Verlinkung

4. Defekte Links reparieren

Links die kaputt sind benachteiligen Sie nicht nur in Bezug auf das Ranking, sondern verschwenden auch ihr kostbares Crawl Budget.

5. Verwenden Sie Nofollow-Links

Mithilfe von Nofollow-Links sagen Sie dem Googlebot, dass er keine Zeit mit dem Scannen gewisser Seiten verschwenden soll. Diese Seiten können entweder welche sein die Sie als weniger wichtig einstufen oder die bereits innerhalb eines anderen Themas verlinkt sind.

6. Optimieren Sie txt

Robots.txt ist eine Datei, die dabei hilft uninteressante Seiten zu blockieren. Zudem bietet die Datei eine Art Anleitung für den Inhalt jeder Datei an und sagt Google, wie es diese scannen soll.

Die robots.txt Datei ist sehr wichtig, wenn Sie vermeiden möchten, dass der Crawler seine Zeit mit den Seiten verschwendet, die nicht gescannt werden müssen. Diese können private oder auch Verwaltungsseiten sein. Was auch sehr hilfreich ist, ist das sie angeben können welche Seiten gescannt werden sollen.

7. Aktualisieren Sie Ihren Content

Man kann es nicht oft genug sagen: die Aktualisierung Ihres Contents führt dazu, dass Google sich mehr Zeit für Ihre Webseite nimmt.

8. Löschen Sie doppelten Content

Wenn Sie alle Seiten, die nicht mehr relevant sind entfernen, verschwenden Sie nicht Ihr Crawl Budget. Wenn Sie aber den Content nicht verlieren möchten, können Sie diesen auf ähnliche Seiten verschieben oder diesen mit dem vorhandenen Content kombinieren.

Vergessen Sie in diesem Sinne auch nicht Ihre Backlinks. Wenn Seiten auf eine andere verweisen, die Sie gerade löschen wollen, haben Sie zwei Möglichkeiten: Sie können entweder eine 301- Weiterleitung durchführen, die der Suchmaschine mitteilt, dass die Seite von einer anderen URL aus zugänglich ist, oder Sie können die Backlink-URL direkt ändern.

Lese-Tipp: Die Presell-Page: Das Geheimnis der Profi-Marketer 

Wie Sie die Zeit zwischen den Scans verkürzen können

Wenn Sie Ihren Content regelmäßig aktualisieren, werden Sie eine Zunahme der Scans feststellen. Jedes Mal, wenn der Web-Crawler eine Seite besucht und überarbeiteten Content findet, erhöht sich Ihr Crawl Budget.

Fazit

Die Verwaltung und Erhöhung Ihres Crawl Budgets ist das Geheimnis Ihres Erfolgs. Wenn Ihr Content gut ist und Ihre Seiten leicht zu lesen sind, wird ein häufigeres Crawling mit ziemlicher Sicherheit zu einer Erhöhung Ihrer Sichtbarkeit (d.h. zu einem höheren Ranking in den SERPs) führen.

Was Sie immer im Auge behalten sollten, ist, dass Sie wenn Sie über das Crawl Budget sprechen, immer an die Optimierung Ihrer Seiten denken sollten.

Laden Sie unser kostenloses Whitepaper herunter und erfahren Sie wie Sie mithilfe von SEO Ihre Sichtbarkeit, Reichweite und Traffic erhöhen können

SEO für Online-Shops

0 Kommentare