古い記事
ランダムジャンプ
新しい記事
Yahoo! Slurp に対して、robots.txt で、
'*' と '$' が使えるようになったとのこと。

Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) -
Supporting wildcards in robots.txt
http://www.ysearchblog.com/archives/000372.html
(via Yahoo! Search、robots.txtでワイルドカード対応 :: SEM R
http://www.sem-r.com/15/20061104113835.html)

例として、
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid
とか
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$
が載ってました。

これでめんどくさくてやってなかったこと[2006-10-27-4]が簡単にできる
ようになった! さっそくやってみたよ!

参考:
- 404 Blog Not Found:クローラにしかとシカトしてもらう50の方法
  http://blog.livedoor.jp/dankogai/archives/50672113.html


- 検索エンジン関連書籍