たつをの ChangeLog : 2007-03-21

ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベースのサイトに、これまでにないペースでじゃんじゃんアクセス来るので負荷が心配になった（その割りに検索で上位にならないのはガッカリ）。

で、robot.txt にこんな記述を足した。

User-agent: Googlebot
Crawl-delay: 10

昨晩設定して、今朝起きてログを見てみると、効果なし。
ネットで調べたら、Googlebot は Crawl-delay を無視する、という話がいろいろあったしなあ。

もうちょっと待つとなんとかなるのかも知れないけど、ほっとけないので次の手段。「Googleウェブマスターツール」(http://www.google.com/webmasters/tools/) [2006-11-18-2]で、クロール率をデフォルトの「標準」から「少ない」に変更した。


ちなみに、Slurp (Yahoo!のクローラ) に対しては、すでに Crawl-delay を設定してあり（下記にサンプル）、こちらはちゃんと効いていて、アクセス集中を防げている。

User-agent: Slurp
Crawl-delay: 10

「スタート！マックブック (Start MacBook)」(http://start-macbook.net/)
の更新情報です。ターミナルのコマンドラインでの日本語入力と、
とターミナル上で起動したEmacsでの日本語入力について。
これで、とりあえずレンタルサーバにsshで入っての開発作業ができるよ
うになりました。

- ターミナルでの日本語入力 (Start MacBook)
  http://start-macbook.net/08_japanese-terminal/