たつをの ChangeLog : 2007-03-21

ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベースのサイトに、これまでにないペースでじゃんじゃんアクセス来るので負荷が心配になった(その割りに検索で上位にならないのはガッカリ)。

で、robot.txt にこんな記述を足した。
User-agent: Googlebot
Crawl-delay: 10
昨晩設定して、今朝起きてログを見てみると、効果なし。
ネットで調べたら、Googlebot は Crawl-delay を無視する、という話がいろいろあったしなあ。

もうちょっと待つとなんとかなるのかも知れないけど、ほっとけないので次の手段。「Googleウェブマスターツール」(http://www.google.com/webmasters/tools/) [2006-11-18-2]で、クロール率をデフォルトの「標準」から「少ない」に変更した。
設定変更

ちなみに、Slurp (Yahoo!のクローラ) に対しては、すでに Crawl-delay を設定してあり(下記にサンプル)、こちらはちゃんと効いていて、アクセス集中を防げている。
User-agent: Slurp
Crawl-delay: 10

- 検索エンジン関連書籍

「スタート!マックブック (Start MacBook)」(http://start-macbook.net/)
の更新情報です。ターミナルのコマンドラインでの日本語入力と、
とターミナル上で起動したEmacsでの日本語入力について。
これで、とりあえずレンタルサーバにsshで入っての開発作業ができるよ
うになりました。

- ターミナルでの日本語入力 (Start MacBook)
  http://start-macbook.net/08_japanese-terminal/
Start!MacBook

MacBookストア

たつをの ChangeLog
Powered by chalow