Glossar:
Robots.txt
Lexikon / Glossar zum Thema
Suchmaschinenoptimierung
home
unternehmen
leistungen
suchmaschinenoptimierung
referenzen
angebote
glossar
kontakt
Robots.txt
Die Datei robots.txt liegt
im Stammverzeichnis (Root-Directory) der Domain und wird von den
Suchmaschinen als aller erste besucht bzw. gecrawlt. In der Robots.txt
kann vom Betreiber festgelegt werden wer welche Seiten im betreffenden
Webprojekt besuchen darf und wer nicht.
Zudem können Seiten angegeben werden, die nicht von den Suchmaschinen
indiziert werden sollen oder aus dem Index verbannt werden sollen.
Gründe hierfür können sein, dass alte Seiten keine Gültigkeit mehr
haben, neue Pfade bekommen haben oder man schlicht und ergreifend nicht
möchte, dass diverse Unterseiten indiziert werden.
Seriöse Suchmaschinen-Spider halten sich an diese Anweisungen. Webseiten,
die absolut nicht gespidert werden dürfen, sollten unbedingt in einem
passwortgeschützten Verzeichnis untergebracht werden.
