Die Grundlagen von SEO

Was ist Google Crawling und Indexierung?

Die meisten Internet-Nutzer sind grob mit der Arbeit von Google und der dazugehörigen Suchmaschine vertraut.

Die Feinheiten und Techniken im Hintergrund sind hingegen eher unbekannt.

Dazu gehören vor allem das Crawling und die Indexierung.

Quelle: Google

Dieser Artikel erklärt Ihnen, was es mit diesen Begriffen auf sich hat und warum sie für Sie so wichtig sind.

Was steckt hinter Crawling und Indexierung?

Beim Crawling und der Indexierung handelt es sich um Massnahmen, mit denen Google Webseiten im Internet katalogisiert.

Quelle: Google

Grundsätzlich durchsucht Google das gesamte Internet.

Dementsprechend umfangreich sind die Daten, die Google sammelt.

Crawling ist die Basis für den Suchindex von Google.

In diesem vermerkt der Suchmaschinenbetreiber die wichtigsten Informationen zu den Webseiten, die der Crawler durchsucht hat.

Inzwischen sind in diesem Index Milliarden von Webseiten eingetragen.

Laut Google ist der Index mittlerweile über 100’000’000 Gigabyte gross.

Quelle: Google

Wie funktionieren Crawling und Indexierung?

Beim Crawling analysiert Google die Inhalte einer Webseite.

Hierbei sucht das Unternehmen nach bestimmten Faktoren, die Google als entscheidend bewertet.

Dies sind unter anderem Keywords und die Aktualität der Seite.

Google nutzt zwei Arten von Crawlern.

Dies sind ein Computer-Crawler und ein mobiler Crawler.

Der Computer-Crawler simuliert einen normalen Desktop-PC.

Beim mobilen Crawler erfolgt der Zugriff auf die Webseite in der Form, wie sie ein Nutzer am Smartphone sehen würde.

Beide gehen systematisch vor und öffnen alle zugänglichen Seiten einer URL, so wie es auch ein Nutzer im Browser tut.

Die gesammelten Informationen einer Webseite trägt Google in den Index ein.

Bei dieser Indexierung erfolgt eine Orientierung entsprechend der Keywords.

Auf den Index greift dann wiederum Googles Suchmaschine zu.

Er ist somit die Grundlage für die Suchergebnisse, wenn Sie mit Google nach einem bestimmten Begriff suchen.

Welche Ziele haben Crawling und Indexierung?

Für Google sind Crawling und Indexierung Methoden, um Inhalte von Webseiten zu erkennen.

Basierend auf den Informationen, die Google sammelt, erstellt das Unternehmen Ergebnisse zu Suchanfragen.

Google liefert also die Ergebnisse auf den SERPs auf Basis der gesammelten Daten.

Durch die vollständige Automatisierung und Nutzung von Algorithmen ist es Google möglich, das gesamte Internet zu katalogisieren.

Mit manueller Arbeit ist dies schon lange nicht mehr machbar.

Welche Bedeutung haben diese Techniken von Google?

Crawling und Indexierung sind wichtig für Sie als Betreiber einer Webseite.

Die Ergebnisse dieses Vorgangs entscheiden, ob Nutzer Ihre Inhalte über Google finden oder nicht.

Ebenfalls beeinflusst dies die Position, auf der Ihre Webseite in den SERPs auftaucht.

Es ist also im Interesse eines jeden Webseiten-Besitzers, dass Google ungehinderten Zugriff auf die eigene Seite hat.

Wie können Sie Crawling und Indexierung zu Ihrem Vorteil nutzen?

Wer die Algorithmen von Google kennt und versteht, kann Crawling und Indexierung für seine Zwecke einsetzen.

Dies geschieht im Rahmen der Suchmaschinenoptimierung.

Wer seine Webseite für das Crawling optimiert, hat bessere Chancen, unter den Top-Positionen auf den SERPs von Google zu landen.

Dies sorgt im Umkehrschluss für mehr Traffic, mehr Interaktionen mit Usern und einen gesteigerten Umsatz Ihres Online-Shops.

Mit den richtigen Methoden und einem Verständnis für den Algorithmus von Google steigern Sie also die Reichweite Ihrer Webseite.

Wer seine Seite gezielt für das Crawling von Google vorbereitet, profitiert von diesen Vorteilen:

Erfassung aller gewünschten Inhalte durch Google
schnellere Indexierung der Webseite für die Suchergebnisse
bessere Platzierung auf den SERPs von Google
Positionierung von Nachrichten, Videos oder Bildern auf den entsprechenden Suchseiten von Google

Den eigenen Internetauftritt optimal für das Crawling und die Indexierung vorbereiten

Obwohl das Crawling und die Indexierung automatisierte Prozesse sind, die Google direkt ausführt, haben Sie die Möglichkeit, sie zu beeinflussen.

Damit dies optimal gelingt, ist es wichtig, die notwendige Erfahrung in diesem Bereich zu besitzen.

So hat jeder Webseitenbetreiber die Möglichkeit, den Indexierungsprozess von Google zu beeinflussen.

Dies funktioniert über die Verwaltung der Inhalte.

So lässt sich festlegen, welche Seiten Google indexiert und wie.

Hierbei wird zwischen dem passiven Ansatz und einer proaktiven Verwaltung unterschieden.

Was hat eine Sitemap mit dem Crawling und der Indexierung zu tun?

Die Sitemap gehört zu den aktiven Massnahmen, mit denen Sie das Crawling von Google beeinflussen.

Eine Sitemap ist mit einem Stadtplan vergleichbar.

Sie gibt Auskunft über die Struktur der Webseite und darüber, wie die einzelnen Seiten miteinander verknüpft sind.

Die Sitemap ist eine standardisierte Datei, die Google nutzt, um sich einen Überblick über die Webseite zu verschaffen.

Die Sitemap wird einfach im Hauptverzeichnis der Webseite platziert.

Sie enthält verschiedene Informationen über die Inhalte der Webseite.

Dies sind unter anderem:

Links zu den Unterseiten
weiterführende Informationen bei Nachrichten, etwa Titel und Datum der Veröffentlichung
bei Bildern das Thema, der Typ der Bilddatei sowie die Lizenzbedingungen
für Videos die Kategorie, eine Altersfreigabe und die Laufzeit des Videos

Diese Daten erleichtern Google die Indexierung Ihrer Webseite.

Ausserdem ist eine präzisere Sammlung von Informationen möglich.

Dies betrifft besonders Videos, Bilder und Nachrichten.

Sie listet Google dann auf den entsprechenden SERPs detailliert auf.

Einige CMS sind in der Lage, eine solche XML-Sitemap selbst zu erstellen.

Dazu gehören beispielsweise WordPress und Blogger.

Bei anderen Seiten müssen Sie die Sitemaps selbst erstellen.

Alternativ übernehmen wir von MIK Group dies gerne für Sie.