古い記事
ランダムジャンプ
新しい記事
robot.txt で、
User-agent: *
Crawl-delay: 10
とだけ設定しているサイトがあるのですが、アクセスログを見ると、
百度(Baidu)のクローラ「Baiduspider+」がこれに従ってきちんと
10秒の間隔をあけてアクセスに来ているのが確認できました。
非常にお行儀が良くなっています。素晴らしい。

Baidu

私が管理しているサイトのいくつかは、歴史的経緯により、
元気が良すぎるBaiduをアク禁にしているんのですが[2006-10-18-1]
お行儀の良さを確認したので徐々に解除することにします。

ということで、今現在、私のサイトに関して一番お行儀の悪いクローラ
の座は Baidu から Googlebot に明け渡されました(ref. [2007-03-21-1])。
これについては後日書く。

関連記事:
- [を] Baiduよけ[2006-10-18-1]
- [を] 百度(baidu)、クローラー問題対応へ[2007-02-19-5]