[linux-l] Fwd: [lugo] Jobbörse.com scannt Webseite

[Gerard Bekhuis]

Hallo liebe Kollegen.

Könnt ihr bitte mal nachschauen?
Vielen herzlichen Dank.
Gérard


-------- Weitergeleitete Nachricht --------
Betreff: [lugo] Jobbörse.com scannt Webseite
Datum: Tue, 22 Nov 2016 16:17:55 +0100
Von: Rolf-Werner Eilert <eilert-sprachen at t-online.de>
Antwort an: eilert-sprachen at t-online.de, lugo at lugo.de
An: lugo at lugo.de

Seit einiger Zeit mache ich nächtens immer ein Backup auf der Website, 
das ich dann runterlade. Seit ca. 2 Wochen habe ich plötzlich immer eine 
Mail vom System  (cron meldet das):

tar: /var/www/......./statistics/logs/access_log: file changed as we readit

Ein Blick da rein zeigt, dass die Datei ca. alle paar Sekunden(!) einen 
Zugriff von einem Bot von www.jobboerse.com registriert.

Dort nachgeschaut, gehört zu XING, und die geben ganz frech an, dass sie 
tatsächlich alle 2 Sekunden scannen. Sie verlinken zu einer Seite, auf 
der erklärt ist, wie die robots.txt funktioniert, und in der habe 
icheingetragen

User-agent: www.jobboerse.com
Disallow: /

um sie ganz auszusperren. Natürlich schreiben sie auch, dass der Bot 
nicht sofort reagiert, sondern erst, "wenn die Seite das nächste Mal 
gelesen wird". Jetzt bin ich ja mal gespannt, ob das irgendwann aufhört...

Die Frage ist noch, ob es jobbörse oder jobboerse heißen muss, beide 
Schreibweisen gehen, und der Browser schaltet auf "ö" um.

Kennt den Bot hier jemand, bzw. sind die im Netz bekannt mit diesem Bot? 
Ist das normal, oder ärgert mich das zu Recht? Ich finde keine Infos 
dazu im Netz.

Würde mich mal über eure Überlegungen freuen.

Grüße
Rolf

---
Sie haben diese Mail erhalten, weil sie Mitglied der LUGO-Mailingliste sind.
Um sich von der Liste abzumelden schicken sie eine Mail an
<lugo+unsubscribe at lugo.de>