Unerwünschte Wiki-Crawler

| | Wiki | untagged
Trotz entsprehcend gesetztem robots.txt verirren sich immer wieder Spider auf meine Wikis. Erstaunlicherweise kommen sie meist aus Südamerika, Russland, oder China...

Mit der Zeit sind sie auch schlauer geworden. Während sie früher mit massenhaftem Seitenabruf auf sich aufmerksam gemacht haben (20 Seiten pro Sekunde), verhalten sie sich jetzt unauffälliger und grasen pro Minute maximal eine Seite ab. Aber auch hier hilft:


       Order allow,deny
       Allow from all
       Deny from 208.66.195.2
       Deny from 208.66.195.8
       Deny from 208.66.195.15

in .htaccess.

Kontakt

  • Beat Döbeli Honegger
  • Plattenstrasse 80
  • CH-8032 Zürich
  • E-mail: beat@doebe.li
This page was cached on 30 May 2025 - 12:07.