古い記事
ランダムジャンプ
新しい記事

Xango(シャンゴ)

2006-12-20-2 [Software]
Xango
http://dev.razil.jp/project/xango/
XangoはPerlで書かれた汎用クローラーフレームワークです。イベント型
フレームワークPOEを使用することにより高速なクローリングが可能です。
実装にもよりますが、単一プロセス内でインデックシングや文字コードの
変換等の処理を同時に行うアプリケーションでも1秒に5〜8 URL、
1時間で 18000 ~ 22000 URLの処理が行えます。

あとでいじってみる。って、来年になるか。