Yahoo! Slurp に対して、robots.txt で、
'*' と '$' が使えるようになったとのこと。

Yahoo! Search blog: Yahoo! Search Crawler (Yahoo! Slurp) -
Supporting wildcards in robots.txt
http://www.ysearchblog.com/archives/000372.html
(via Yahoo! Search、robots.txtでワイルドカード対応 :: SEM R
http://www.sem-r.com/15/20061104113835.html)

例として、

User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid

とか

User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Allow: /*?$

が載ってました。

これでめんどくさくてやってなかったこと[2006-10-27-4]が簡単にできる
ようになった！ さっそくやってみたよ！

参考：
- 404 Blog Not Found:クローラにしかとシカトしてもらう50の方法
  http://blog.livedoor.jp/dankogai/archives/50672113.html