Robots.txt
Aus WISSEN-digital.de
Die robots.txt ist eine Textdatei, die vom Webmaster eingesetzt wird, um allen und ggf. auch explizit ausgewählten Spidern mitzuteilen, ob und in welchem Rahmen sie die jeweilige Domain crawlen dürfen. Hierfür wird die Datei direkt im Stammverzeichnis der Domain abgelegt. Die Kleinschreibung ist zwingend zu beachten.
Spider werden in erster Linie von Suchmaschinen eingesetzt, um das Web zu durchsuchen und einerseits neue Seiten aufzuspüren und andererseits zu prüfen, ob sich Inhalte auf bereits bekannten Seiten geändert haben. Zu diesem Zweck werden vor allem Startseiten besucht, um anschließend den darauf befindlichen Links zu folgen. Das konsequente Verfolgen neu ermittelter Links soll gewährleisten, dass alle Seiten erfasst werden.
Es kommt jedoch vor, dass Webmaster einzelne Unterseiten oder sogar vollständige Domains ausschließen möchte, damit diese in den Suchergebnissen nicht erscheinen. In der robots.txt können die Spider genau nachlesen, ob der Webmaster solche Einschränkungen gemacht hat. Hierbei kann sich der Webmaster äußerst präzise ausdrücken und beispielsweise lediglich ausgewählte Verzeichnisse oder gar einzelne Dateien sperren.
Beim Erstellen einer robots.txt Datei gilt es unbedingt, die Syntax zu beachten, die im Robots-Exclusion-Standard Protokoll definiert ist. Die wichtigsten Befehle (Auszug) lauten:
Beispiel für eine robots.txt
User-agent: Beispiel-Robot Disallow: /
User-agent: * Disallow: /temp/ Disallow: /nachrichten.html
User-agent: | Gibt an, für welche Spider eine oder mehrere Anweisungen gelten |
Disallow: | Domain, Verzeichnisse oder Dateien werden gezielt ausgeschlossen |
Allow: | Ausgewählten Spidern wird das Crawlen bestimmter Verzeichnisse oder Dateien gestattet |
Aus Sicht des Suchmaschinenoptimierers ist es wichtig, dass relevante Seiten nicht ausgeschlossen sind – ansonsten werden sie in den Suchergebnisseiten nicht erscheinen. Andererseits ist nicht garantiert, dass sich die Spider an die Regeln des Webmasters halten. Letztlich gibt die Datei lediglich ein Regelwerk vor. Ein technischer Ausschluss der Spider ist hingegen nicht möglich.
Kalenderblatt - 19. Mai
1536 | König Heinrich VIII. von England lässt seine Frau Anna Boleyn zum Tode verurteilen und hinrichten. |
1899 | Eröffnung der ersten Haager Friedenskonferenz, bei der kein bestimmter Krieg beendet, sondern Wege der friedlichen Konfliktbewältigung erörtert werden sollten. |
1949 | Der Bayerische Landtag stimmt über das Grundgesetz ab und lehnt es als einziges Bundesland ab. Das Grundgesetz tritt trotzdem in Kraft, da es nur einer Zustimmung von zwei Dritteln der westdeutschen Ländern bedarf. |
Magazin
- Barrierefreiheit im Eigenheim: Treppenlifte als Wegbereiter für Gesundheit und Autonomie
- Finanzielle Selbsthilfe: Kleinkredite effektiv nutzen
- Alternative Anlageoptionen: Was ist von Kryptowährungen und Co. zu halten?
- Wie sieht die Zukunft des Glasfaser-Internets in Deutschland aus?
- Reiseziel: USA! Technische Aspekte im Land der Freiheit