robots.txt – Auswirkungen auf SEO

Die Datei robots.txt hat gewisse Auswirkungen auf die Suchmaschinenoptimierung (SEO) bzw. die Indexierung der eigenen Websites bei Suchmaschinen wie Google, Bing, Yahoo, Ask usw.

robots.txt – Auswirkungen auf SEO: Was macht die Datei?

robots.txt - Auswirkungen auf SEO

robots.txt – Auswirkungen auf SEO

Die Datei robots.txt ist eine Datei, die, wenn Sie vorliegt, den Suchmaschinenrobots auf ihrem Weg durch das Netz mitteilt, welche Websites sie nicht indexieren sollen. Die in der robot.txt erwähnten Seiten erscheinen also nicht in den SERPS (Search Engine Result Pages = Suchmaschinenergebnisseiten). Haha… immer wieder erstaunlich, dass wir nur ein Wort brauchen, wo man im englischen 4 Wörter braucht :-).
Um herauszufinden, welche Seiten von den Suchmaschinenrobots gefiltert werden gibt es zwei Wege:
1. Ein Blick in die Datei robots.txt
2. Google Webmaster-Tools Abschnitt Status/Blockierte URLs

robots.txt – Auswirkungen auf SEO: Wann brauche ich die Datei?

Man braucht die robot.txt nur, wenn man bestimmte Seiten seiner Website von der Indexierung der Suchmaschinen ausschließen will. Solange man alle seine Seiten im Index der Suchmaschinen sehen will, kann man auf die robots.txt verzichten bzw. sie einfach löschen, falls sie vorliegen sollte.
Beispiele für Seite im Zusammenhang mit dem Gebrauch der robots.txt, also dem Ausschluss der Seiten aus den SERPS sind zuallererst alle sicherheitsrelevanten Seiten einer Website. Seiten, des Zahlungsprozesses kann und sollte man also in die robots.txt schreiben und sie damit für Suchmaschinen ausschließen.
Jeder sollte sich darüberhinaus selbst Gedanken machen, welche Seiten er oder sie nicht in den SERPS sehen möchte.

robots.txt – Auswirkungen auf SEO: Wo liegt die Datei bei WordPress?

Bei WordPress liegt die robots.txt normalerweise im Root, also im Stammverzeichnis der Domain, also in dem Ordner, wo auch die Datei wp-config.php liegt.

robots.txt – Auswirkungen auf SEO

Die tatsächlichen Auswirkungen auf die Suchmaschinenoptimierung sind eher sekundär zu sehen, da die robots.txt nur einen inversen Karakter hat. Will man allerdings Wortfamilien, die in bestimmten Seiten vorkommen und keinen direkten Zusammenhang zum Hauptthema der Website darstellen, unterdrücken, haben die in der robots.txt aufgeführten Seiten und ihre Verlinkungen einen Einfluss darauf.

Dieser Einfluss ist natürlich umso größer, je kleiner die Anzahl der Inhaltsseiten der Website ist. Andersherum ausgedrückt. Je größer eine Website wird, desto geringer wird der Einfluss der robots.txt auf das Gesamtranking der Website in den SERPS.

Bei Fragen oder Gedanken zum Thema: robots.txt – Auswirkungen auf SEO, schreibe einen Kommentar…

2 Gedanken zu „robots.txt – Auswirkungen auf SEO

  1. Lukas

    Hallo,

    wichtig wäre noch zu erwähnen, dass man nicht nur bestimmte Seiten damit sperren kann, sondern man hat auch die Möglichkeit, nur bestimmte Bots auszuschließen.

    Wenn man einen bestimmten Crawler für irrelevant hält, kann man ihn einfach ganz ausschließen, sodass er gar nicht auf deine Inhalte zugreift.

    Antworten

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Du kannst folgende HTML-Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>