Unerwünschte Wiki-Crawler

Trotz entsprehcend gesetztem robots.txt verirren sich immer wieder Spider auf meine Wikis. Erstaunlicherweise kommen sie meist aus Südamerika, Russland, oder China…

Mit der Zeit sind sie auch schlauer geworden. Während sie früher mit massenhaftem Seitenabruf auf sich aufmerksam gemacht haben (20 Seiten pro Sekunde), verhalten sie sich jetzt unauffälliger und grasen pro Minute maximal eine Seite ab. Aber auch hier hilft:


       Order allow,deny
       Allow from all
       Deny from 208.66.195.2
       Deny from 208.66.195.8
       Deny from 208.66.195.15

in .htaccess.


 
Zum Kommentieren ist eine Registration notwendig.

Kategorien: IsaBlog, IsaWiki

Kontakt

  • Beat Döbeli Honegger
  • Plattenstrasse 80
  • CH-8032 Zürich
  • E-mail: beat@doebe.li