Xango
http://dev.razil.jp/project/xango/

XangoはPerlで書かれた汎用クローラーフレームワークです。イベント型
フレームワークPOEを使用することにより高速なクローリングが可能です。
実装にもよりますが、単一プロセス内でインデックシングや文字コードの
変換等の処理を同時に行うアプリケーションでも１秒に５〜８ URL、
１時間で 18000 ~ 22000 URLの処理が行えます。

あとでいじってみる。って、来年になるか。