Baidu(百度)のクローラのお行儀がとても良くなった
2007-03-30-2
[WebTool]
robot.txt で、
百度(Baidu)のクローラ「Baiduspider+」がこれに従ってきちんと
10秒の間隔をあけてアクセスに来ているのが確認できました。
非常にお行儀が良くなっています。素晴らしい。
私が管理しているサイトのいくつかは、歴史的経緯により、
元気が良すぎるBaiduをアク禁にしているんのですが[2006-10-18-1]、
お行儀の良さを確認したので徐々に解除することにします。
ということで、今現在、私のサイトに関して一番お行儀の悪いクローラ
の座は Baidu から Googlebot に明け渡されました(ref. [2007-03-21-1])。
これについては後日書く。
関連記事:
- [を] Baiduよけ[2006-10-18-1]
- [を] 百度(baidu)、クローラー問題対応へ[2007-02-19-5]
とだけ設定しているサイトがあるのですが、アクセスログを見ると、User-agent: * Crawl-delay: 10
百度(Baidu)のクローラ「Baiduspider+」がこれに従ってきちんと
10秒の間隔をあけてアクセスに来ているのが確認できました。
非常にお行儀が良くなっています。素晴らしい。
私が管理しているサイトのいくつかは、歴史的経緯により、
元気が良すぎるBaiduをアク禁にしているんのですが[2006-10-18-1]、
お行儀の良さを確認したので徐々に解除することにします。
ということで、今現在、私のサイトに関して一番お行儀の悪いクローラ
の座は Baidu から Googlebot に明け渡されました(ref. [2007-03-21-1])。
これについては後日書く。
関連記事:
- [を] Baiduよけ[2006-10-18-1]
- [を] 百度(baidu)、クローラー問題対応へ[2007-02-19-5]