XangoはPerlで書かれた汎用クローラーフレームワークです。イベント型 フレームワークPOEを使用することにより高速なクローリングが可能です。 実装にもよりますが、単一プロセス内でインデックシングや文字コードの 変換等の処理を同時に行うアプリケーションでも1秒に5〜8 URL、 1時間で 18000 ~ 22000 URLの処理が行えます。