linux-l: robots ?
Michael Wiedmann
mw at miwie.in-berlin.de
Fr Jan 16 19:03:12 CET 1998
Quoting JSC (schlegel at lnx01.tfh-berlin.de):
> wie war das gleich mit den ungebetenen www-robots?
>
> eine datei namens robots.txt in der DocumentRoot
> und voellig unwichtigem inhalt reicht aus ?
Etwas genauer findest du das unter:
http://info.webcrawler.com/mak/projects/robots/norobots.html
Michael
---------------------------------------------------------------------------
Any spare CPU cycles? Help cracking RC5-64 Bit:
http://rc5.distributed.net/rc5/
---------------------------------------------------------------------------
Mehr Informationen über die Mailingliste linux-l