linux-l: robots ?

Michael Wiedmann mw at miwie.in-berlin.de
Fr Jan 16 19:03:12 CET 1998


Quoting JSC (schlegel at lnx01.tfh-berlin.de):
 
> wie war das gleich mit den ungebetenen www-robots?
> 
> eine datei namens robots.txt in der DocumentRoot
> und voellig unwichtigem inhalt reicht aus ?

Etwas genauer findest du das unter:

http://info.webcrawler.com/mak/projects/robots/norobots.html
 
Michael
---------------------------------------------------------------------------
              Any spare CPU cycles? Help cracking RC5-64 Bit:
                    http://rc5.distributed.net/rc5/
---------------------------------------------------------------------------




Mehr Informationen über die Mailingliste linux-l