Googlebotのアクセス頻度を調整する
2007-03-21-1
[SEO]
ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベースのサイトに、これまでにないペースでじゃんじゃんアクセス来るので負荷が心配になった（その割りに検索で上位にならないのはガッカリ）。
で、robot.txt にこんな記述を足した。
ネットで調べたら、Googlebot は Crawl-delay を無視する、という話がいろいろあったしなあ。
もうちょっと待つとなんとかなるのかも知れないけど、ほっとけないので次の手段。「Googleウェブマスターツール」(http://www.google.com/webmasters/tools/) [2006-11-18-2]で、クロール率をデフォルトの「標準」から「少ない」に変更した。
ちなみに、Slurp (Yahoo!のクローラ) に対しては、すでに Crawl-delay を設定してあり（下記にサンプル）、こちらはちゃんと効いていて、アクセス集中を防げている。
で、robot.txt にこんな記述を足した。
昨晩設定して、今朝起きてログを見てみると、効果なし。User-agent: Googlebot Crawl-delay: 10
ネットで調べたら、Googlebot は Crawl-delay を無視する、という話がいろいろあったしなあ。
もうちょっと待つとなんとかなるのかも知れないけど、ほっとけないので次の手段。「Googleウェブマスターツール」(http://www.google.com/webmasters/tools/) [2006-11-18-2]で、クロール率をデフォルトの「標準」から「少ない」に変更した。
ちなみに、Slurp (Yahoo!のクローラ) に対しては、すでに Crawl-delay を設定してあり（下記にサンプル）、こちらはちゃんと効いていて、アクセス集中を防げている。
User-agent: Slurp Crawl-delay: 10