11. Juni 2008
Suchmaschinenoptimierung Teil 2 - robots.txt
Suchmaschinen-Bots, auch Crawler oder Spider genannt, können durch Meta-Tags in den HTML-Seiten beeinflusst werden. Eine andere Stellung nimmt die Datei robots.txt ein, die im Hauptverzeichnis des Webservers gespeichert wird. Sie enthält Angaben, welche Verzeichnisse von welchen Bots durchsucht werden dürfen und welche nicht. Doch nicht alle SE halten sich an diese Anweisungen. Ferner kann die URL einer maschinenlesbaren Sitemap im Format XML angebeben werden.
Die Datei robots.txt ist eine simple Textdatei und kann - wie jede HTML-Seite auch - mit einem normalen Texteditor bearbeitet werden (Beispiele: MAC: Textedit, Windows: Notepad). Gilt auch für die Datei sitemap.xml
Beispiel für eine robots.txt
# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden # gilt für alle Bots wie Google, Yahoo, MSN User-agent: * Disallow: /Templates/ Disallow: /images/ Sitemap: http://lernblog.netzforum.de/sitemap.xml
http://de.wikipedia.org/wiki/Robots.txt
