Wikipediaのアブストを返すAPIを作ってみた
2007-07-01-4
[Programming]
Wikipediaのキーワードリンクを使った「なんちゃって関連語データ」
作成[2007-06-09-3]に引き続き、
今度は、Wikipedia のアブストラクトを返すWeb APIを作ってみた。
こういうのは既出だけど気にしない。
Wikipedia のアブストデータはダウンロードページから取得。
(see Wikipedia:データベースダウンロード)
「jawiki-latest-abstract.xml」というやつ。
なぜか圧縮されてないのでDLがちょっと遅い。
で、「その場しのぎプログラミング」[2003-12-09-3]でXMLをTSVに変換。
検索インデックスは SUFARY を使用。
- WikipeHacks: Abstract API
http://wikipehacks.ta2o.net/abst/api/
-- 例(XML): http://wikipehacks.ta2o.net/abst/api/%E9%89%84%E9%81%93.xml
-- 例(HTML): http://wikipehacks.ta2o.net/abst/api/%E9%89%84%E9%81%93.html
負荷がかかりすぎるようでしたら公開中止します。
また、1秒間に何回もアクセスされるのが続くようならば
IP単位でアクセス禁止にします。
APIで使っている「キーとアブストだけからなるTSVデータ」を
下記に置いておくので、「アクセスしすぎちゃうかも」な人はご利用ください。
APIたたくよりも、このデータを手元に置いて使った方が良い場面が多いかも。
http://wikipehacks.ta2o.net/abst/jawiki-abst.tsv.gz (28M)
まあ、自分でXML取ってきていろいろいじった方が良いと思うよ。
作成[2007-06-09-3]に引き続き、
今度は、Wikipedia のアブストラクトを返すWeb APIを作ってみた。
こういうのは既出だけど気にしない。
Wikipedia のアブストデータはダウンロードページから取得。
(see Wikipedia:データベースダウンロード)
「jawiki-latest-abstract.xml」というやつ。
なぜか圧縮されてないのでDLがちょっと遅い。
で、「その場しのぎプログラミング」[2003-12-09-3]でXMLをTSVに変換。
検索インデックスは SUFARY を使用。
- WikipeHacks: Abstract API
http://wikipehacks.ta2o.net/abst/api/
-- 例(XML): http://wikipehacks.ta2o.net/abst/api/%E9%89%84%E9%81%93.xml
-- 例(HTML): http://wikipehacks.ta2o.net/abst/api/%E9%89%84%E9%81%93.html
負荷がかかりすぎるようでしたら公開中止します。
また、1秒間に何回もアクセスされるのが続くようならば
IP単位でアクセス禁止にします。
APIで使っている「キーとアブストだけからなるTSVデータ」を
下記に置いておくので、「アクセスしすぎちゃうかも」な人はご利用ください。
APIたたくよりも、このデータを手元に置いて使った方が良い場面が多いかも。
http://wikipehacks.ta2o.net/abst/jawiki-abst.tsv.gz (28M)
まあ、自分でXML取ってきていろいろいじった方が良いと思うよ。