ツイッターの streaming API で流れてくるつぶやきをカウントするプログラムです。
目的が達成できればよいというだけの ad hoc なプログラム。

コード (twistat.pl)：

#!/usr/bin/perl
use strict;
use warnings;
use Encode;
use Time::Local;
use POSIX qw(strftime);

$ENV{'TZ'} = "JST-9";

my $idx = 0;
my @month = ('Jan','Feb','Mar','Apr','May','Jun',
     'Jul','Aug','Sep','Oct','Nov','Dec');
my %m2i = map {$_ => $idx++} @month;

my $count;
my $sum_byte;
my $sum_char;
my $sum_json;
my %hourly;
while (<>) {
    my $line = $_;
    s/^\{(.*)\}/$1/;
    while (s/:\{[^\}]+\}/:<>/g) {}
    my ($text) = /"text":"(.+?)"/;
    next unless $text;
    my ($tm) = /"created_at":"(.+?)"/;
    next unless $tm =~ /([A-Z][a-z]{2}) (\d+) (\d+):(\d+):(\d+) .\d+ (\d+)$/;
    my $utm = timegm($5, $4, $3, $2, $m2i{$1}, $6);

    $text =~ s/\\u([0-9A-Z]{4})/chr(hex($1))/gei;
    $sum_byte += length(encode('utf8', $text));
    $sum_char += length($text);
    $sum_json += length($line);
    $hourly{strftime("%Y%m%d%H", localtime($utm))}++;
    $count++;
}

print "ave bytes : ", $sum_byte / $count, "\n";
print "ave chars : ", $sum_char / $count, "\n";
print "ave jsons : ", $sum_json / $count, "\n";

foreach my $i (sort keys %hourly) {
    print "$i $hourly{$i}\n";
}

一言いわせてもらうと、「JSON.pm 遅すぎ！」。
というわけでこのプログラムでは正規表現に書き換えました。

使い方 (zsh)：

curl -uID:PW http://stream.twitter.com/1/statuses/sample.json | gzip -c > tw.gz
zcat tw.gz | grep '"lang":"ja"' | ./twistat.pl 2> error.log

curl はたぶん永遠にデータを取ってくるので Ctrl+C などで適当に止めます。

カウントの結果：
sample.json だと1時間10万ツイートくらい。
"lang":"ja" でフィルタリングするとその5分の1くらい。

ref.
- Twitter のストリーミング API を試す[2010-04-15-2]
- Twitter API プログラミング[2010-04-21-2]
- GMT による時間表現文字列を JST に変換する Perl コード片[2010-03-01-5]
- Twitterの月間訪問者は1億9千万、ツイートは毎日6500万-Costolo COO語る
http://jp.techcrunch.com/archives/20100608an-android-users-take-on-yesterdays-iphone-news/

■辻村浩 / Twitter API プログラミング

(ref. [2010-04-21-2])