Archiv

Kategorien

Mehr als 0 und 1

Letzte Postings

Tweets

für gesamten Blog

Unerwünschte Wiki-Crawler

05 Aug 2006 - 13:58 | Version 1 |
Trotz entsprehcend gesetztem robots.txt verirren sich immer wieder Spider auf meine Wikis. Erstaunlicherweise kommen sie meist aus Südamerika, Russland, oder China...

Mit der Zeit sind sie auch schlauer geworden. Während sie früher mit massenhaftem Seitenabruf auf sich aufmerksam gemacht haben (20 Seiten pro Sekunde), verhalten sie sich jetzt unauffälliger und grasen pro Minute maximal eine Seite ab. Aber auch hier hilft:


       Order allow,deny
       Allow from all
       Deny from 208.66.195.2
       Deny from 208.66.195.8
       Deny from 208.66.195.15

in .htaccess.


 
Zum Kommentieren ist eine Registration notwendig.

Kategorien: IsaBlog, IsaWiki