Die Gesetze der Suchmaschinenoptimierung besagen, wenn deine Website nicht von einer Suchmaschine indexiert ist, kann sie auch nicht ranken. Rankt deine Website nicht, kann sie dementsprechend auch nicht gefunden und über ein Suchergebnis angeklickt werden.
Damit Google und andere Suchmaschinen deine Website indexieren können, benötigt es das Crawling, z. B. durch den Googlebot. Da dieser jedoch nicht unbegrenzt Kapazität hat, gibt es das Crawl Budget.
Ich will dir heute das Thema Crawl Budget näherbringen und dir ein paar Tipps geben, wie du dein Crawl Budget optimieren kannst.
Crawl Budget: Das verbirgt sich hinter dem Begriff
Das Crawl Budget ist ein Begriff aus der technischen Suchmaschinenoptimierung und ist somit ein Teil der On-Page-Optimierung. Er beschreibt die Ressourcen, die Google oder andere Suchmaschinen für das Crawling von Websites investiert. Das Crawl Budget ist jedoch nicht unbegrenzt verfügbar, sodass du – besonders, wenn du eine grosse Website betreibst – genau bestimmen solltest, welche Seiten gecrawlt werden sollen. Das Crawl Budget setzt sich gemäss Google aus zwei Elementen zusammen:
- Die Crawl-Rate, die sich an der Reaktionsfähigkeit und Geschwindigkeit deiner Website orientiert. Ein performanter Server und eine Website mit kurzer Ladezeit spielen hier eine grosse Rolle. Die Crawl-Rate ist die Anzahl der Anfragen pro Sekunde, welche z. B. der Googlebot an deine Website richtet. Diese kannst du zum Teil steuern, indem du sie in der Google Search Console begrenzt.
- den Crawl Bedarf, der sich an der Popularität einer Webseite festmacht. Wechselst du eine Domain, steigt der Crawl Bedarf, da Google oder andere Suchmaschinen deine Seiten gewissermassen von vorn neu erkunden müssen. Gleichzeit besteht ein grösserer Bedarf, Seiten, welche oft aktualisiert werden (zb. Newsplattformen) auch öfter zu crawlen, um neue Inhalte schneller zu indexieren.
Du solltest wissen, dass deine Webseite im Internet lediglich dann sichtbar ist, wenn der Googlebot oder eine andere Suchmaschine sie im Vorfeld gecrawlt und indexiert hat.
Der Unterschied zwischen Crawl Budget und Index Budget
Verwechsele nicht das Crawl Budget mit dem Index Budget. Das Index Budget umfasst eine bestimmte Anzahl an URLs, die im Index gelistet werden. Google selbst hat zum Beispiel in letzter Zeit immer mehr betont, dass der Index nicht unendlich sei und nur noch qualitativ hochwertige Inhalte indexiert werden.
Was kannst du mit dem Crawl Budget erreichen?
Aus einer Studie von OnCrawl kannst du lesen, dass die Optimierung des Crawl Budgets deine SEO-Leistung wesentlich verbessern kann. Die Studie ergab, dass du durch eine gezielte Optimierung deiner Webseite eine durchschnittliche Steigerung von 30 Prozent der gecrawlten Seiten erreichen kannst. Zudem hat deine Seite etwa 15 Prozent mehr organischen Besucher und etwa 10 Prozent mehr indexierte Seiten. Diese Zahlen bestätigen, dass technisches SEO für deine Website essenziell.
Beeinflusse dein Crawl Budget positiv
Das Crawling ist zwar kein direkter Rankingfaktor, verbessert aber die Sichtbarkeit deiner Seite, da Google oder andere Suchmaschinen dadurch deine Website verstehen und indexieren können. Dies hat indirekt Einfluss auf das Ranking. Wenn deine Seite gerade erst online gegangen oder unpopulär ist, crawlt Google sie nur selten. Durch eine gezielte Optimierung kannst du das ändern.
Stelle sicher, dass das Crawlen deiner Webseite problemlos abläuft. Achte darauf, dass der Googlebot auf die wichtigsten URLs deiner Seite zugreifen und sie effizient indexieren kann. Dazu musst du deine Website crawler-freundlich strukturieren. Eine Vernachlässigung der Optimierung deines Crawl Budgets führt dazu, dass der Webcrawler seine Zeit für unwichtige Dinge aufwendet oder das Crawling praktisch einstellt. Dies hätte einen negativen Einfluss auf die ganzheitliche SEO-Performance, da es den organischen Traffic verringern kann.
5 Tipps für dein Crawl Budget
- Achte darauf, dass die verlinkten Seiten auf deiner Website keine 404 oder andere Fehlermeldungen ausgeben, welche den Crawler oder Besucher in eine Sackgasse leiten. aus keine fehlerhaften Links enthält oder dass Verlinkungen, die du nutzt, zu toten Seiten führen.
- Die Robots.txt-Datei hilft dir, das Crawl Budget deiner Seite optimal zu nutzen. Mit ihr kannst du einem Web-Crawler genau sagen, was er crawlen darf und was nicht. So sollte der Googlebot z. B. keine Suchresultat Seiten abrufen oder seine Zeit mit WordPress-Plugin Daten verschwenden.
Disallow: /wp-admin/Disallow: /wp-content/cache/Disallow: /wp-content/plugins/Disallow: /?s=Disallow: /page/*/?s=Disallow: /search/ - Durch die Nutzung einer XML-Sitemap kannst du Google oder Bing eine Art Inhaltsverzeichnis deiner Seite mitteilen. Du kannst diese in der Search Console oder deiner Robots.txt Datei angeben. Sie hilft dem Crawler, deine Website auch bei einer sehr verschachtelten Seitenarchitektur zu verstehen. Weiter hat die Sitemap den Vorteil, dass immer direkt ersichtlich ist, wann ein Inhalt aktualisiert oder publiziert wurde.
- Enthält eine URL-Parameter, um den Traffic nachzuverfolgen, Filter oder sind Sortierfunktionen integriert, solltest du diese URLs nicht für den Googlebot freigeben. Werden sie gecrawlt, verschwendest du dein Crawl Budget. Überprüfe deine Seite auf die Parameter, die zum Einsatz kommen und ob du sie wirklich brauchst.
- Interne Verlinkungen sind ein wichtiges Element für die SEO-Optimierung. Sie machen es Crawlern sowie deinen Besuchern einfach, durch deine Webseite zu navigieren. Durch die interne Verlinkung bildest du zudem für Suchmaschinen eine klarere Struktur ab und teilst ihnen mit, welche Inhalte für dich wichtig sind.
- Weiterleitungsketten, die durch Verlinkungen der Seiten entstehen, solltest du vermeiden. Es gibt verschiedene SEO-Tools, mit denen du interne Links identifizieren kannst und beheben kannst. Auch ein SEO-Audit kann in diesem Fall helfen, Probleme zu identifizieren.
- Nichts ist ärgerlicher, wenn die aufgerufene Seite lange braucht, um zu laden. Dies wird zumeist durch grosse Datenmengen verursacht. Grosse Datenmengen wirken sich negativ auf deine Ladezeit und somit dein Crawl Budget aus. Entschlacke deine Website, indem du einen schlankeren Code verwendest und nur die Daten anzeigst, die für deine Zielgruppe relevant sind.
- Duplicate Content beschreibt Inhalte, die in gleicher Form auf mehreren Seiten zu finden sind. Sie sind Gift für SEO. Sie werden vom Google als minderwertig gesehen, da sie den Lesern oft keinen Mehrwert bieten. Verzichte daher unbedingt auf kopierte Inhalte, sondern schreibe deine Inhalte selbst und nutze den Canonical Tag, um bestehenden Duplicate Content zu markieren.
Mithilfe der oben genannten Punkte sollte es dir gelingen, dein Crawl Budget mit maximalem Gewinn für deine Seite einsetzen. Durch guten Content und das einfach Ermöglichen eines Crawls, sorgst du dafür, dass deine Website indexiert wird.
Muss ich mir um mein Crawl Budget Sorgen machen?
Wenn du Betreiber einer kleineren Website mit wenigen Unterseiten bist, brauchst du dir um dein Crawl Budget grundsätzlich keine Sorgen zu machen. Ich empfehle dir aber, von Anfang an schon deine Website für ein optimiertes Crawling zu gestalten.
Wenn du eine grosse Webseite mit vielen Unterseiten betreust – etwa im Rahmen von 10.000 URLs inklusive Unter-URLs – kann es eng werden. Nun musst du dir Gedanken machen, wie du das Crawl Budget, dass dir zur Verfügung steht, richtig nutzt.
So erhöhst du deine Crawling Frequenz
Es ist dir wichtig, dass Google und andere Suchmaschinen deine Seiten schneller crawlt? Um ein schnelleres Crawling technisch zu erreichen, hast du folgende Möglichkeiten:
- Sorge dafür, dass du einen schnellen Server hast, auf welchem deine Website liegt. Durch eine kurze Ladezeit kann Google die Seiten schneller crawlen und benötigt dementsprechend auch weniger Ressourcen, was sich positiv auf die Crawling Frequenz auswirkt.
- Integriere mehrere interne Links in deine Seiten. Dabei solltest du im Blick behalten, dass du auf diese Weise auch ein Crawl Budget erhöhen kannst. Defekte oder umgeleitete Links (301-Weiterleitung) solltest du vermeiden.
- Gewinne mehr Backlinks für deine Website, denn dies ist ein Signal für Google und anderes Suchmaschinen, dass deine Website wichtig ist, wodurch sie auch öfters gecrawlt wird.
Wie viele Unterseiten crawlt Google?
Wie viele Unterseiten Google pro URL crawlt, hängt laut des Softwareentwicklers Matt Cutts vom PageRank einer Seite ab. Dieser mathematische Algorithmus dient zur Messung der Qualität von Links.
Je höher der PageRank einer Seite, desto grösser auch das Crawl Budget. Du musst also dafür sorgen, dass deine Seite einen hohen PageRank hat. So erhältst du ein höheres Crawl Budget, das auch die Crawling-Frequenz deiner Webseite und die Tiefe des Crawls beeinflusst.
Ermittle die Crawl-Aktivitäten deiner Website
Wenn du wissen möchtest, wie gross die Googlebot-Aktivität deiner Seite ist, hol dir technische Hilfe mit der Google Search Console. Die Plattform für SEOs zeigt dir, wie viel Zeit der Googlebot auf deiner Seite verbringt und wie weit die Crawls auseinanderliegen. Das Tool erstellt wertvolle Crawling Statistiken, mit deren Hilfe du eine Analyse und Optimierung durchführen kannst.
Fazit
Die obengenannten Faktoren helfen dir, dein Crawl Budget zielführend einzusetzen und eine Verschwendung zu vermeiden. Vor dem Hintergrund, dass immer mehr Seiten im Internet veröffentlicht werden, begreife dein Crawl Budget als wertvolle Ressource. Google plant schliesslich, zukünftig das Crawl Budget zu begrenzen.
Für dich bedeutet das, dass du deine Seite immer genau im Blick haben solltest. Finde heraus, welche URLs Inhalte enthalten, die deine Zielgruppe interessieren. Werde unnötige Altlasten deiner Seite los, sodass du eine bessere Ladegeschwindigkeit deiner Seite erhältst. Dein oberstes Credo sollte ein ressourcenschonender Seitenaufbau sein, welche es dem Bot erlaubt, deine Website zügig und effizient zu crawlen, damit diese ihren Weg in den Index schaffen.
in Switzerland