Robots.txt
Aus WISSEN-digital.de
Die robots.txt ist eine Textdatei, die vom Webmaster eingesetzt wird, um allen und ggf. auch explizit ausgewählten Spidern mitzuteilen, ob und in welchem Rahmen sie die jeweilige Domain crawlen dürfen. Hierfür wird die Datei direkt im Stammverzeichnis der Domain abgelegt. Die Kleinschreibung ist zwingend zu beachten.
Spider werden in erster Linie von Suchmaschinen eingesetzt, um das Web zu durchsuchen und einerseits neue Seiten aufzuspüren und andererseits zu prüfen, ob sich Inhalte auf bereits bekannten Seiten geändert haben. Zu diesem Zweck werden vor allem Startseiten besucht, um anschließend den darauf befindlichen Links zu folgen. Das konsequente Verfolgen neu ermittelter Links soll gewährleisten, dass alle Seiten erfasst werden.
Es kommt jedoch vor, dass Webmaster einzelne Unterseiten oder sogar vollständige Domains ausschließen möchte, damit diese in den Suchergebnissen nicht erscheinen. In der robots.txt können die Spider genau nachlesen, ob der Webmaster solche Einschränkungen gemacht hat. Hierbei kann sich der Webmaster äußerst präzise ausdrücken und beispielsweise lediglich ausgewählte Verzeichnisse oder gar einzelne Dateien sperren.
Beim Erstellen einer robots.txt Datei gilt es unbedingt, die Syntax zu beachten, die im Robots-Exclusion-Standard Protokoll definiert ist. Die wichtigsten Befehle (Auszug) lauten:
Beispiel für eine robots.txt
User-agent: Beispiel-Robot Disallow: /
User-agent: * Disallow: /temp/ Disallow: /nachrichten.html
User-agent: | Gibt an, für welche Spider eine oder mehrere Anweisungen gelten |
Disallow: | Domain, Verzeichnisse oder Dateien werden gezielt ausgeschlossen |
Allow: | Ausgewählten Spidern wird das Crawlen bestimmter Verzeichnisse oder Dateien gestattet |
Aus Sicht des Suchmaschinenoptimierers ist es wichtig, dass relevante Seiten nicht ausgeschlossen sind – ansonsten werden sie in den Suchergebnisseiten nicht erscheinen. Andererseits ist nicht garantiert, dass sich die Spider an die Regeln des Webmasters halten. Letztlich gibt die Datei lediglich ein Regelwerk vor. Ein technischer Ausschluss der Spider ist hingegen nicht möglich.
KALENDERBLATT - 2. Oktober
1808 | Das Treffen zwischen dem Weimarer Dichterfürsten Johann Wolfgang von Goethe und dem französischen Kaiser Napoleon I. findet statt. |
1928 | Das Luftschiff LZ 127 "Graf Zeppelin" startet zu seiner ersten Fernfahrt. |
1935 | Mussolini lässt seine Truppen in Abessinien einmarschieren. |
MAGAZIN
- Die Bedeutung von Nachhilfe für Schüler: Wie sie den schulischen Erfolg fördert
- Herbstferien in Deutschland - eine Jahreszeit voller Farben und Erlebnisse
- Effiziente Lagerhaltungstechniken für Unternehmen: Wie Gitterboxen Ihre Lagerorganisation verbessern können
- Der deutsche Reisepass - Alles, was Sie wissen müssen
- Die 6 entscheidenden Zukunftstrends in der Personalabrechnung