Googlebotのアクセス頻度を調整する

ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベース
のサイトに、これまでにないペースでじゃんじゃんアクセス来るので
負荷が心配になった（その割りに検索で上位にならないのはガッカリ）。

で、robot.txt にこんな記述を足した。

User-agent: Googlebot
Crawl-delay: 10

昨晩設定して、今朝起きてログを見てみると、効果なし。
ネットで調べたら、Googlebot は Crawl-delay を無視する、
という話がいろいろあったしなあ。

もうちょっと待つとなんとかなるのかも知れないけど、
ほっとけないので次の手段。「Googleウェブマスターツール」
(http://www.google.com/webmasters/tools/) [2006-11-18-2]で、
クロール率をデフォルトの「標準」から「少ない」に変更した。
【規約違反の可能性があるため画像取り下げ】

ちなみに、Slurp (Yahoo!のクローラ) に対しては、すでに Crawl-delay
を設定してあり（下記にサンプル）、こちらはちゃんと効いていて、
アクセス集中を防げている。

User-agent: Slurp
Crawl-delay: 10

- 検索エンジン関連書籍