Wird eine Seite auf Ihrer Website veröffentlicht, wird sie von Google indexiert und eingestuft?
Damit eine Seite in den Suchergebnissen angezeigt wird und Traffic auf Ihre Website leitet, muss Google sie zuerst durchsuchen. In Googles eigenen Worten: «Das Durchsuchen ist der Einstiegspunkt für Websites in Googles Suchergebnissen».
Da Google jedoch nicht unbegrenzt Zeit und Ressourcen hat, um jederzeit jede Seite im Web zu durchsuchen, werden nicht alle Seiten durchsucht.
Dies ist es, was SEOs als Crawl Budget bezeichnen, und dessen Optimierung kann entscheidend für das Wachstum Ihrer Unternehmenswebsite sein.
Lesen Sie weiter, um zu erfahren, was ein Crawl-Budget ist, oder springen Sie zu einem anderen Abschnitt:
Das Crawl Budget ist die Menge an Zeit und Ressourcen, die eine Suchmaschine für das Crawlen einer bestimmten Website zuweist. Mit anderen Worten, es ist die maximale Anzahl von Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitrahmens auf Ihrer Website crawlen kann. Das Crawl Budget kann für verschiedene Suchmaschinen (oder Crawler) unterschiedlich sein.
Google gibt an, dass man sich keine Sorgen um das Crawl-Budget machen sollte, es sei denn:
Jede Website erhält aufgrund dieser beiden Faktoren ein unterschiedliches Crawl Budget:
1. Crawling-Nachfrage. Die Anzahl der Seiten, die Häufigkeit von Posts/Updates und die Beliebtheit der Seiten definieren dies.
2. Crawl-Rate-Limit. Dies wird durch Serverfähigkeiten, vom Website-Besitzende festgelegte Crawling-Limits (in Search Console), das Crawling-Limit der Suchmaschine usw. beeinflusst. Google kann auch die Crawling-Rate automatisch anpassen, wenn der Server langsam ist und umgekehrt.
Wenn Sie an kleineren Websites arbeiten, müssen Sie sich möglicherweise keine Gedanken über das Crawl-Budget machen. Laut Google «müssen sich die meisten Publisher keine Gedanken über das Crawl Budget machen. Wenn eine Website weniger als einige tausend URLs hat, wird sie in der Regel effizient gecrawlt.»
Wenn Sie jedoch an grossen Websites arbeiten, insbesondere an solchen, die Seiten basierend auf URL-Parametern automatisch generieren, sollten Sie Aktivitäten priorisieren, die Google dabei helfen zu verstehen, was gecrawlt werden soll und wann.
Es gibt einen ganzen Abschnitt der Suchmaschinenoptimierung, der sich speziell dieser Situation widmet. Das Ziel ist es, den Googlebot so zu lenken, dass das vorhandene Crawl Budget sehr sinnvoll genutzt wird und hochwertige Seiten, die für den Website-Betreibende von besonderer Bedeutung sind, indexiert werden.
Seiten von geringerer Bedeutung müssen zuerst identifiziert werden. Hierbei handelt es sich vorwiegend um Seiten mit schlechtem Inhalt oder wenig Informationen sowie fehlerhafte Seiten, die einen 404-Fehlercode zurückgeben.
Diese Seiten müssen vom Crawlen ausgeschlossen werden, damit das Crawl Budget für die qualitativ besseren Seiten verfügbar bleibt. Anschliessend müssen die wichtigen Unterseiten so gestaltet werden, dass sie von Spinnen priorisiert gecrawlt werden.
Hier sind einige einfache Möglichkeiten, um das Crawl Budget Ihrer Website zu maximieren.
Eine Verbesserung der Seitenladegeschwindigkeit Ihrer Website kann dazu führen, dass Googlebot mehr URLs Ihrer Website durchsucht. Tatsächlich sagt Google:
«Die schnelle Gestaltung einer Website verbessert die Benutzererfahrung und erhöht auch die Crawling-Rate.» Mit anderen Worten: Langsame Seiten verbrauchen wertvolle Googlebot-Zeit. Wenn jedoch Ihre Seiten schnell laden, hat der Googlebot Zeit, mehr Seiten zu besuchen und zu indexieren.
Googlebot priorisiert Seiten, die viele externe und interne Links auf sich haben. Ja, idealerweise würden Sie Rückverweise auf jede einzelne Seite auf Ihrer Website erhalten. Aber das ist in den meisten Fällen nicht realistisch. Deshalb ist die interne Verlinkung so wichtig. Ihre internen Links führen Googlebot zu allen verschiedenen Seiten auf Ihrer Website, die Sie indizieren möchten.
Laut Google: «URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, um sie in unserem Index frischer zu halten.»
Und in der Welt von Google bedeutet beliebt = Link-Autorität.
Deshalb möchten Sie eine flache Website-Architektur auf Ihrer Website verwenden. Eine flache Architektur stellt sicher, dass alle Seiten Ihrer Website eine gewisse Link-Autorität erhalten.
Waisen-Seiten sind Seiten, auf die keine internen oder externen Links verweisen. Google hat es sehr schwer, Waisen-Seiten zu finden. Wenn Sie also das Beste aus Ihrem Crawl Budget herausholen möchten, stellen Sie sicher, dass mindestens ein interner oder externer Link auf jede Seite Ihrer Website verweist. Begrenzen Sie doppelten Inhalt.
Wie sich herausstellt, kann doppelter Inhalt Ihrem Crawl-Budget schaden. Denn Google möchte keine Ressourcen verschwenden, indem es mehrere Seiten mit dem gleichen Inhalt indiziert. Stellen Sie also sicher, dass 100% der Seiten Ihrer Website aus einzigartigem, qualitativ hochwertigem Inhalt bestehen. Das ist für eine Website mit mehr als 10.000 Seiten nicht einfach, aber ein Muss, wenn Sie das Beste aus Ihrem Crawl Budget herausholen möchten.
Hier sind einige Möglichkeiten, wie Sie das Crawling-Budget Ihrer Website optimieren können.
Die Reaktionszeit des Servers und die Ladezeit der Seiten beeinflussen direkt das Crawling. Es funktioniert ungefähr so:
Wenn Googlebot Ihre Website crawlt, lädt es zuerst die Ressourcen herunter und verarbeitet sie dann. Wenn Ihr Server schnell auf die Crawling-Anfragen von Google reagiert, kann es mehr Seiten auf Ihrer Website crawlen.
Verwenden Sie daher einen schnellen und zuverlässigen Webhosting-Service und ein Content Delivery Network (CDN), um die erste Antwortzeit des Servers zu verbessern.
Gleichzeitig können Sie die Ladezeit der Seiten reduzieren, indem Sie:
Die Anzahl der Links auf einer Seite sagt Google etwas über die Bedeutung dieser Seite aus. Googlebot priorisiert das Crawlen von Seiten mit mehr Backlinks und internen Links.
Daher können Sie Ihr Crawl-Budget erhöhen, indem Sie mehr externe und interne Links zu Ihren Seiten hinzufügen. Während es Zeit braucht, um Backlinks von externen Seiten zu bekommen und es nicht vollständig unter Ihrer Kontrolle liegt, können Sie mit der einfacheren Option beginnen – der internen Verlinkung.
Zu viele defekte interne Links (404 oder 410 Antwortcodes) und umgeleitete URLs (3xx) können das Crawling-Budget Ihrer Website verschwenden. Obwohl diese Seiten bei unverändertem Inhalt seit einiger Zeit eine niedrige Crawling-Priorität haben, ist es besser, sie zu reparieren, um Ihr Crawling-Budget und die allgemeine Wartung der Website zu optimieren.
Wenn Sie die defekten internen Links finden, können Sie die Seite unter der gleichen URL wiederherstellen oder die URL auf eine andere relevante Seite umleiten.
Was die Umleitungen betrifft, prüfen Sie, ob es viele unnötige Umleitungen und Umleitungsketten gibt, und ersetzen Sie sie durch einen direkten Link.
Eine weitere Möglichkeit, um Ihre Seiten schneller crawlen zu lassen, besteht darin, die Indexing-API von Google zu verwenden. Damit können Sie Google direkt benachrichtigen, wenn Sie Seiten auf ihrer Website hinzufügen, entfernen oder aktualisieren.
Die Indexing-API ist jedoch derzeit nur für Anwendungsfälle wie Live-Videos und Stellenanzeigen verfügbar. Wenn dies auf Ihre Website zutrifft, können Sie sie nutzen, um Ihre URLs im Index und in den Suchergebnissen von Google auf dem neuesten Stand zu halten.
© 2012-2025, MIK Group GmbH | AGB | Impressum | Datenschutzerklärung
