また行儀の悪いクローラが来た
2007-06-14-4
Baidu, Googlebot に続きまた行儀の悪いクローラが来た。
Twiceler ってやつだ。
robots.txt で「Crawl-delay: 60」にしてあるのに、
じゃかじゃかアクセス来る。
リファラーにあるURLへ行ってみると:
Twiceler
http://www.cuill.com/twiceler/robot.html
ふうむ。
とりあえずサーバの負荷がやばいのでアク禁にしておく。
Twiceler ってやつだ。
robots.txt で「Crawl-delay: 60」にしてあるのに、
じゃかじゃかアクセス来る。
リファラーにあるURLへ行ってみると:
Twiceler
http://www.cuill.com/twiceler/robot.html
Twiceler is an experimental robot. Please contact
costello@cuill.com if you have any problems.
Twiceler should obey robots.txt.
ふうむ。
とりあえずサーバの負荷がやばいのでアク禁にしておく。