Fragen zum Sinn der "robots.txt"

[Jack Bauer]

Servus zusammen

Wolt mal nachfragen, wer von Euch die sogenannte "robots.txt" einsetzt.

Klar kann man jetzetle über Sinn und Unsinn bzw. Nutzen oder auch nicht streiten oder diskutieren, welches hier aber nicht unbedingt gefordert wird :boxen

Viellmehr interessiert mich, wie es in der Praxis ausschaut, mit dieser robots Datei.

Ich habe denke bzw. habe die Erfahrung gemacht, das zwar große Suchmaschienen wie Google oder Yahoo sich weitestsgehends daran halten, aber bei weitem und eben nicht jede Suchmaschine.

Wäre es da nicht vorteilhafter (so hab ich das gemacht) den Verzeichnissen die nicht gespidert (durchsucht) werden sollen, einfach ein Verzeichniss Schutz ala Plesk, Confixx oder per .htaccess zu verpassen ???

Was meint Ihr ???

[jazde86]

Na ja, dann kann ja niemand mehr drauf zugreifen.

Beispiel Impressum:
Die Bots sollen es nicht auslesen, so daß es nicht in Suchmaschinenlisten auftaucht, ein Besucher der Seite soll es allerdings sehen können - daher kann keine generelle Sperre erfolgen. ;)

[TorstenAdam]

Wie sollte denn ein solcher robots.text für ein Forum aussehen?

[Andre31]

Nunja ist nicht unbedingt aufs Forum bezogen, aber doch recht aufschlußreich was den Sinn oder Unsinn (jenachdem wie man es auslegen möchte) einer robots.txt.
Google (http://www.google.de/search?q=robot.txt&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:de:official&client=firefox-a) liefert doch recht gute & hilfreiche Tips diesbezüglich.