大量のテキストを自然言語処理などで分析して有用な情報を抽出する“テキストマイニング”などには役立ちそう。
% svn export https://github.com/aozorabunko/aozorabunko/trunk/cards
...
% du -hs cards
2.3G cards
% nkf -w wagahaiwa_nekodearu.txt| tail -n +25 | head -2 吾輩《わがはい》は猫である。名前はまだ無い。 どこで生れたかとんと見当《けんとう》がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩は[...]
#!/usr/bin/env perl # -*- coding: utf-8 -*- use strict; use warnings; use utf8; use open ":utf8"; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; my $cnt = 0; while (<>) { last if /^底本/; if (/^----/) {$cnt++; next} if ($cnt < 2) {next} chomp; s/\x0d$//; s/|//g; while (s/《[^《]*?》|[#[^[]*?]|〔[^〔]*?〕//g) {} s/^ //; next if /^\s*$/; s/(。)/$1\n/g; s/(」)(「)/$1\n$2/g; print join("\n", grep {not /^\s*$/} split(/\n/))."\n"; }
% nkf -w wagahaiwa_nekodearu.txt| ./text2sentences.pl > wu-u8.txt % head -5 wu-u8.txt 一 吾輩は猫である。 名前はまだ無い。 どこで生れたかとんと見当がつかぬ。 何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。
% nkf -e wn-u8.txt | mecab -O wakati | nkf -w > wn-mor.txt % head wn-mor.txt 一 吾輩 は 猫 で ある 。 名前 は まだ 無い 。 どこ で 生れ た か とんと 見当 が つか ぬ 。 何 でも 薄暗い じめじめ し た 所 で ニャーニャー 泣い て いた事 だけ は 記憶 し て いる 。
#!/usr/bin/env perl # -*- coding: utf-8 -*- use strict; use warnings; use utf8; use open ":utf8"; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; my %next_words; while (<>) { chomp; my $pre = ""; foreach my $w (split(/ /)) { next if ($pre eq "" and $w eq ""); push @{$next_words{$pre}}, $w; $pre = $w; } push @{$next_words{$pre}}, ""; } my @words; my $cur = ""; for (my $i = 0; $i < 200; $i++) { my $tmp = $next_words{$cur}; $cur = $tmp->[rand(@$tmp)]; last if $cur eq "" and $i > 100; push @words, $cur; } print join("", @words), "\n";
% ./gen.pl wn-mor.txt
「もう笑って」「君及びません。あなたがね、あまりふくれてからおいてしまうです。彼のをしようじゃありましょう。「この人をとったろうと座敷へでギャーと寒月君は迷惑の野原なりを賞めえ大分見聞し得る限りの材料払底な路次から、来客で、二十年くらいでも仕方が張るの癇癪が出来ない。もろ肌を客人は宇宙の境に相違ない。
「危きに招魂社へへとったって——吾輩は礼に賄賂でもよかろう。権利とへ流れ流れた時はそんなに野暮の刑にやってるじゃあるから、聞いてはなぜ、しまいに——取れそうであるまいと存候間板へ出掛けた」主人は、解して智謀を引き据えて、御前が気の毒であるではベースボール即ちピラミッドのが逆施すで自己のいいのにと云うと云う人の水のようによらず内心少々提灯玉え付けても御座候
「懸かりません。「大和魂の広い学校のだと心がね」即ち攻城的の根本的智識も譲らない、実業家の青年だけ御手数がねえ叔母さん」天下に剥げかかった事はなら何も出せないと忠告しても同じ材料が妙答は吾輩のが、朝鮮にさ。「右の禿のせいだね。彼等は華族様ね」一番仕舞に渡す。「面白いもの」
「NEWS WEB EASY」は外国人(がいこくじん)の皆(みな)さんや、小学生(しょうがくせい)・中学生(ちゅうがくせい)の皆(みな)さんのために、わかりやすいことばでニュースを伝(つた)えます。
生成した静的ファイルをFTPソフトでアップロードする。独自CMSはすべてローカルにある。サーバーには生成されたファイルだけが存在する。これによりCMSのアップデートを怠ることによる脆弱性をつかれることはない。このブログも同じ。
父は私が10才の時に10万円を渡してこう言いました。今からこのお金をお前が管理するんだよ、いつどこで何を買っても構わない。ただし毎月のお小遣いは持っている総額の1%だよ…
— さおりん (@Investor__girl) 2018年7月23日
自分で計算して毎月、お父さんに請求しなさい!そこから父のマネーの教育が始まりました、続く…