先日来、物凄いアクセスが集中しているので、ちょっとログを調べてみると、IPアドレス68.192.9.221から大量のアクセスがあった模様。
調べてみると、Majestic-12っていうUKのサーチエンジンのbotらしいのでした。
ここの事は全くわからないのですが、サイトを覗いて調べてみると「DSearch」っていうプロジェクトで、分散型のエンジンを作っているとの事らしいです。
ここからのアクセスは期待してはいませんが、崇高なコンセプトは伺えました。
が、さらにもっと調べてみると、ウィルス絡みでMJ12bot v1.0.8のフェイクも出回っているとの事なので、この際、ブロックする事にしました。
このページの表記によれば、ここのbotはrobot.txtを無視するとの事なので、サイトではブロックするときには、.htaccessに下記の記述でブロックしましょとの事です。
User-agent: MJ12bot
Disallow: /
今回のアクセスは、ウィルス絡みではなく、正規版の動きのようなのですが、コンセプトに賛同して、直近のbotは通すように、こんな具合にブロックしました。
SetEnvIfNoCase User-Agent "^MJ12bot/v?1\.[01]\.[0-9]{1,2}" block
Deny from env=block
きちんとbotの働きや目的など説明しているところは、評価すべきですが、一時期のBaiduを超える動作はあんまりお行儀良いとは思えません。
改善した方が良いと思いますし、気になる方はブロックした方が良いかも。
