11 Ressourcen

Kostenlose SEO-Analyse

Geben Sie Ihre Website ein.

Schauen Sie, wie SEO-Optimiert Ihre Website ist.

Diese unternehmen vertrauen uns
Nau Media Logo
Novartis Logo
Hansplast Logo
Philips Logo
BMW Logo

Kundenmeinungen

Google Review
5 / 5

Robots.txt

Was ist Robots.txt?

Robots.txt ist eine Datei, die Suchmaschinen-Spiders anweist, bestimmte Seiten oder Abschnitte einer Webseite nicht zu crawlen. Die meisten grossen Suchmaschinen (einschliesslich Google, Bing und Yahoo) erkennen und berücksichtigen Anfragen von Robots.txt.

Warum ist Robots.txt wichtig?

Die meisten Webseiten benötigen keine robots.txt-Datei.

Dies liegt daran, dass Google normalerweise alle wichtigen Seiten Ihrer Webseite finden und indizieren kann.

Sie indizieren automatisch KEINE Seiten, die nicht wichtig sind oder duplizieren Versionen anderer Seiten.

Allerdings gibt es drei Hauptgründe, warum Sie eine robots.txt-Datei verwenden möchten.

Nichtöffentliche Seiten blockieren: Manchmal haben Sie Seiten auf Ihrer Webseite, die nicht indiziert werden sollen. Beispielsweise haben Sie möglicherweise eine Staging-Version einer Seite. Oder eine Login-Seite. Diese Seiten müssen existieren. Aber Sie möchten nicht, dass zufällige Leute auf ihnen landen. In diesem Fall würden Sie robots.txt verwenden, um diese Seiten vor Suchmaschinen-Crawlern und Bots zu blockieren.

Crawler-Budget maximieren: Wenn es für Sie schwierig ist, alle Ihre Seiten zu indexieren, haben Sie möglicherweise ein Problem mit dem Crawler-Budget. Durch das Blockieren unwichtiger Seiten mit „robots.txt“ kann Googlebot mehr von Ihrem Crawl-Budget für die Seiten ausgeben, die tatsächlich von Bedeutung sind.

Indizierung von Ressourcen verhindern: Die Verwendung von Meta-Direktiven kann genauso gut wie Robots.txt funktionieren, um zu verhindern, dass Seiten indiziert werden. Meta-Direktiven funktionieren jedoch nicht gut für Multimedia-Ressourcen wie PDFs und Bilder. Hier kommt robots.txt ins Spiel.

Die Quintessenz? Robots.txt weist Suchmaschinenspinnen an, bestimmte Seiten Ihrer Webseite nicht zu durchsuchen.

Sie können in der Google Search Console überprüfen, wie viele Seiten Sie indiziert haben.

Wenn die Anzahl mit der Anzahl der Seiten übereinstimmt, die Sie indizieren möchten, müssen Sie sich nicht um eine Robots.txt-Datei kümmern.

Wenn diese Anzahl jedoch höher ist als erwartet (und Sie bemerken, dass indizierte URLs nicht indiziert werden sollten), müssen Sie eine robots.txt-Datei für Ihre Webseite erstellen.

Best Practices

Erstellen Sie eine Robots.txt-Datei

Ihr erster Schritt ist das Erstellen Ihrer robots.txt-Datei.

Da es sich um eine Textdatei handelt, können Sie tatsächlich eine Datei mit dem Windows-Editor erstellen.

Und egal, wie Sie Ihre robots.txt-Datei letztendlich erstellen, das Format ist genau das gleiche:

Benutzeragent: X

Nicht zulassen: Y

User-Agent ist der Bot, mit dem Sie gerade sprechen.

Alles, was nach „Nicht zulassen“ erscheint, sind Seiten oder Abschnitte, die Sie blockieren möchten.

Hier ist ein Beispiel:

Benutzeragent: googlebot

Nicht zulassen: / Bilder

Diese Regel weist Googlebot an, den Bildordner Ihrer Webseite nicht zu indexieren.

Sie können auch ein Sternchen (*) verwenden, um mit allen Bots zu sprechen, die sich auf Ihrer Webseite befinden.

Hier ist ein Beispiel:

User-Agent: *

Nicht zulassen: / Bilder

Das „*“ weist alle Spiders an, Ihren Bilderordner NICHT zu durchsuchen.

Dies ist nur eine von vielen Möglichkeiten, eine robots.txt-Datei zu verwenden. In diesem hilfreichen Leitfaden von Google finden Sie weitere Informationen zu den verschiedenen Regeln, die Sie verwenden können, um zu verhindern, dass Bots verschiedene Seiten Ihrer Webseite crawlen.

Machen Sie Ihre Robots.txt-Datei einfach zu finden

Sobald Sie Ihre robots.txt-Datei erstellt haben, können Sie sie zum Leben erwecken.

Sie können Ihre robots.txt-Datei technisch in einem beliebigen Hauptverzeichnis Ihrer Seite platzieren.

Um die Wahrscheinlichkeit zu erhöhen, dass Ihre robots.txt-Datei gefunden wird, empfehle ich, sie unter folgendem Platz abzulegen:

https://example.com/robots.txt

(Beachten Sie, dass in Ihrer robots.txt-Datei die Gross- und Kleinschreibung beachtet wird. Achten Sie darauf, dass Sie im Dateinamen ein kleines „r“ verwenden.)

Prüfen Sie nach Fehlern und Fehlern

Es ist WIRKLICH wichtig, dass Ihre robots.txt -Datei korrekt eingerichtet ist. Ein Fehler und Ihre gesamte Webseite könnte deindexiert werden.

Glücklicherweise müssen Sie nicht hoffen, dass Ihr Code richtig eingerichtet ist. Google hat ein schickes Roboter-Test-Tool, das Sie verwenden können:

Es zeigt Ihnen Ihre robots.txt-Datei… und alle Fehler und Warnungen, die gefunden werden:

Wie Sie sehen können, blockieren wir Spiders beim Crawlen unserer WP-Admin-Seite.

Wir verwenden auch robots.txt, um das Crawlen von automatisch generierten Tags von WordPress zu blockieren (um doppelten Inhalt zu begrenzen).

Robots.txt vs. Meta-Richtlinien

Warum sollten Sie robots.txt verwenden, wenn Sie Seiten auf Seitenebene mit dem Meta-Tag „noindex“ blockieren können?

Wie bereits erwähnt, ist die Implementierung des noindex-Tags in Multimedia-Ressourcen wie Videos und PDFs schwierig.

Wenn Sie Tausende von Seiten blockieren möchten, ist es manchmal einfacher, den gesamten Bereich dieser Seite mit robots.txt zu sperren, anstatt jeder einzelnen Seite manuell ein noindex-Tag hinzuzufügen.

Es gibt auch Randfälle, in denen Sie kein Crawler-Budget bei Google landen möchten, wenn Sie auf Seiten mit dem Tag noindex landen.

Das gesagt:

Ausserhalb dieser drei Randfälle empfehle ich die Verwendung von Meta-Direktiven anstelle von robots.txt. Sie sind einfacher zu implementieren. Und die Gefahr einer Katastrophe ist geringer (z. B. das Blockieren der gesamten Seite).

Lernen Sie mehr

Weitere Informationen zu robots.txt-Dateien: Eine hilfreiche Anleitung zur Verwendung und Interpretation von robots.txt.

Was ist eine Robots.txt-Datei? (Ein Überblick für SEO + Key Insight): Ein No-Fluff-Video zu verschiedenen Anwendungsfällen für robots.txt.

About Maxi

MaxiMaxi Maxhuni ist leidenschaftlicher SEO Blogger, Content Marketing- und SEO Spezialist. Er ist zertifizierter Google und Content Marketing Experte. Bevor er über SEO bloggt, setzt er Optimierungen gleich selbst durch. Das steigert die Authentizität seiner Blogartikel.



In seiner Rolle als Operations Manager bei der MIK Group, befasst er sich mit den neuesten SEO Trends und Updates. Das ermöglicht ihm Möglichkeiten zu erkennen und im täglichen Business zu implementieren. Dies führt dazu, dass seine Artikel einzigartig und durch persönliche Erfahrungen geprägt sind.



Die Zusammenarbeit mit verschiedensten Kunden, von KMUs bis hin zu internationalen Konzernen, ermöglichen ihm SEO aus allen Blickwinkeln zu verstehen. Das widerspiegelt auch seine Blogartikel, welche alle Zielgruppen ansprechen. Durch die Diversität der täglichen Arbeit sind seine Inhalte umfangreich und zugleich frei von zu viel Fachjargon.



Im operativen Bereich bringt er fast ein Jahrzehnt an Erfahrung mit. Er war ebenfalls Operativer Leiter eines der grössten Outsourcing Unternehmen mit ca. 500 Mitarbeitern.



Seine Artikel teilt er auch gerne via Social Media. Folgen Sie ihm auf LinkedIn, Instagram oder Twitter und bleiben Sie up to date mit den Entwicklungen aus der SEO Welt.

Steigere Deinen Traffic!

Jetzt Webseite analysieren ➜

Switzerland Flag