ここ何日かのクローラーやbotが酷すぎる

ここ何週間かクローラーやbotのアクセスに悩まされていて寝不足気味ですwいくらなんでも1秒間に20回もアクセスするとかどうなのよ。あとなぜか、yahooが来ているのと同時にtwitterやらSuperfeedrとかSemrushBotとか何なのよそれ?っていうbotが同時に来やがります。

そういうのが一度にくると、サイトが重くなって反応がなくなります。なので、その時は、

# service http stop

してしばらくしてから

# service http start

したりしていました。

だいたいPHP系のCMSを設置していてるので、そもそも重いです。PHPのキャッシュ系も使っていません(面倒だし)

で、access_logを見ながら地道に.htaccessにIPアドレスを登録して、拒否設定したり、robots.txtを設置したりして来ないでよって設定をしていたのですが、そんなんに従うお行儀のよいbotなんていません。まあ、海外のbotにそんなお行儀を求めても意味ないですが、、、

それでついに今日頭来たので、アクセスを国内限定という設定をしました。こことか見てhtaccessに設定したのです。ただこの設定GoogleとかYahooとかBINGとかのbotも当然はじきます。なので、そこは逆に、allow from の設定をしないといけませんね。

しばらくこれで様子を見て、また対応を考えたいと思います。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください