たつをの ChangeLog
: 2007-03-21
前後の日:
2007-03-20
< >
2007-03-22
この月:
2007-03
別の年の同じ日:
2000
2002
2003
2004
2005
2006
2007
2008
2010
2011
2012
2015
2016
2017
2018
2019
2020
2021
2023
2024
Googlebotのアクセス頻度を調整する
2007-03-21-1 [
SEO
]
ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベースのサイトに、これまでにないペースでじゃんじゃんアクセス来るので負荷が心配になった(その割りに検索で上位にならないのはガッカリ)。
で、robot.txt にこんな記述を足した。
User-agent: Googlebot Crawl-delay: 10
昨晩設定して、今朝起きてログを見てみると、効果なし。
ネットで調べたら、Googlebot は Crawl-delay を無視する、という話がいろいろあったしなあ。
もうちょっと待つとなんとかなるのかも知れないけど、ほっとけないので次の手段。「Googleウェブマスターツール」(
http://www.google.com/webmasters/tools/
)
[2006-11-18-2]
で、クロール率をデフォルトの「標準」から「少ない」に変更した。
ちなみに、Slurp (Yahoo!のクローラ) に対しては、すでに Crawl-delay を設定してあり(下記にサンプル)、こちらはちゃんと効いていて、アクセス集中を防げている。
User-agent: Slurp Crawl-delay: 10
この記事に言及しているこのブログ内の記事
Yasazon が Googlebot から連続アクセスを受けてて困った問題 (2009-10-18)
Perl、PHPでGooglebotを一定の確率ではじく (2007-05-01)
Baidu(百度)のクローラのお行儀がとても良くなった (2007-03-30)
Mac OS Xのターミナルでの日本語入力
2007-03-21-2 [
Mac
]
「スタート!マックブック (Start MacBook)」(
http://start-macbook.net/
)
の更新情報です。ターミナルのコマンドラインでの日本語入力と、
とターミナル上で起動したEmacsでの日本語入力について。
これで、とりあえずレンタルサーバにsshで入っての開発作業ができるよ
うになりました。
- ターミナルでの日本語入力 (Start MacBook)
http://start-macbook.net/08_japanese-terminal/
前後の日:
2007-03-20
< >
2007-03-22
この月:
2007-03
別の年の同じ日:
2000
2002
2003
2004
2005
2006
2007
2008
2010
2011
2012
2015
2016
2017
2018
2019
2020
2021
2023
2024
たつをの ChangeLog
Powered by
chalow