古い記事
ランダムジャンプ
新しい記事
ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベースのサイトに、これまでにないペースでじゃんじゃんアクセス来るので負荷が心配になった(その割りに検索で上位にならないのはガッカリ)。

で、robot.txt にこんな記述を足した。
User-agent: Googlebot
Crawl-delay: 10
昨晩設定して、今朝起きてログを見てみると、効果なし。
ネットで調べたら、Googlebot は Crawl-delay を無視する、という話がいろいろあったしなあ。

もうちょっと待つとなんとかなるのかも知れないけど、ほっとけないので次の手段。「Googleウェブマスターツール」(http://www.google.com/webmasters/tools/) [2006-11-18-2]で、クロール率をデフォルトの「標準」から「少ない」に変更した。
設定変更

ちなみに、Slurp (Yahoo!のクローラ) に対しては、すでに Crawl-delay を設定してあり(下記にサンプル)、こちらはちゃんと効いていて、アクセス集中を防げている。
User-agent: Slurp
Crawl-delay: 10

- 検索エンジン関連書籍