Robots.txt

Robots.txt ist eine Textdatei, die jede Datei in ihrem Hauptverzeichnis haben muss und die festen Bestimmungen entsprechen muss. So muss der Name in Kleinbuchstaben geschrieben sein, der Inhalt wird nach bestimmten Mustern aufgebaut und damit sie ihre Aufgaben im Sinne der Domain korrekt erfüllt muss sie bestimmte Informationen enthalten. Es handelt sich dabei um Informationen für die Robots von Suchmaschinen. Die Informationen geben vor, ob sie alle oder einzelne Robots betreffen und wir sich die Robots auf der Webseite verhalten sollen.

Robots sind Skripte und gehören den Suchmaschinen, die sie einsetzen um Webseiten für die Indizierung zu durchsuchen. Die Robots der Suchmaschinen lesen die Datei robots.txt und machen genau was diese ihnen vorgibt. Das kann zum Beispiel der Hinweis sein, welche Webseitenbereiche nicht gezeigt werden dürfen und welche Bereiche öffentlich gezeigt werden sollen. Webseitenbereiche die nicht öffentlich gezeigt werden sollen sind eventuell noch in Bearbeitung oder nicht mehr aktuell. Durch ihre Namen werden diese Bereiche den Robots durch ihre Bezeichnung zugänglich oder unzugänglich gemacht. Robots können auch für eine ganze Domain gesperrt werden.

Webhosting Lexikon