形態素解析済みコーパスの公開

更新履歴

青空文庫コーパスの配布形式を変更しました。内容は以前と変わりませんが、メモリの少ないPCでも動作するよう配慮されています。 (2010.6.24)
青空文庫の全テキストを検索するための設定ファイルを公開しました。 (2010.6.14)
青空文庫(茶筌+UniDic版、茶筌+IPAdic版、Juman版)を公開しました。 (2009.12.17)
プロジェクト杉田玄白コーパス(茶筌+UniDic版)を公開しました。 (2009.9.14)
プロジェクト杉田玄白コーパス(茶筌+IPAdic版、Juman版)を公開しました。 (2009.4.1)

このページについて

このページでは形態素解析済みのコーパスを公開しています。本コーパスは、ウェブでフリーで公開されているテキストに対し、自動的に形態素解析を行い、その情報を付与したものです。データのフォーマットは国立国語研究所で公開している全文検索システム『ひまわり』に準拠しています。利用者の皆様は、本データをダウンロードし、『ひまわり』をパソコンにインストールすれば、

単語単位での例文検索
基本形での例文検索
品詞による検索結果の絞り込み

といった作業を簡単に行うことができます。

動作環境

本データを利用するのに必要な環境は以下の通りです。

パソコン
Windows, Linux, Mac OS X などのパソコンで本データをお使いになれます。下記の『ひまわり』が動作する環境のパソコンであれば大丈夫です。
全文検索システム『ひまわり』
国立国語研究所の『ひまわり』のサイトからプログラムをダウンロードし、ご自身のパソコンにインストールして下さい。
本データ
以下からお使いになりたいデータを選んでダウンロードして下さい。

[注意]
『青空文庫』の形態素解析済みコーパスをご利用になる場合には、ある程度性能の高いパソコンが必要です。特にWindowsパソコンの場合は2GB以上のメモリを必要とします。現在動作確認しているパソコンの仕様は以下の通りです。

Windows XP, Intel Xeon CPU 5140 @ 2.33GHz, メモリ 2GB
Mac OS X 10.5.8, Intel Core 2 Duo 1.8GHz, メモリ 2GB

公開データ

本サイトで公開しているコーパスは以下の2種類です。

プロジェクト杉田玄白
『プロジェクト杉田玄白』で公開されているテキストです。テキストの総数は173です。収録テキストの一覧はこちらを御覧下さい。
青空文庫
青空文庫で公開されているテキストです。テキストの総数は2,560です。収録テキストの一覧はこちらを御覧下さい。

また、形態素解析を行う際には以下の3種類の形態素解析ツールを使用しています。

茶筌+UniDic
(形態素解析ツール『茶筌』と電子化辞書『UniDic』を使用)
茶筌+IPAdic
(形態素解析ツール『茶筌』と電子化辞書『IPA辞書』を使用)
Juman
(形態素解析ツール『Juman』を使用)

したがって、2(コーパス)×3(ツール)=6種類のデータを公開しています。好きなデータを選んでダウンロードして下さい。

ダウンロード

以下の表中の下線のあるファイル名をクリックするとデータをダウンロードできます。ファイルサイズが大きいので、ダウンロードの際にはご注意下さい。

	茶筌+UniDic	茶筌+IPAdic	Juman
プロジェクト杉田玄白	JEITA_Genpaku_ChaSen_UniDic.zip (約46MB)	JEITA_Genpaku_ChaSen_IPAdic.zip (約37MB)	JEITA_Genpaku_Juman.zip (約39MB)
青空文庫	JEITA_Aozora_ChaSen_UniDic_data1.zip (約137MB)	JEITA_Aozora_ChaSen_IPAdic_data1.zip (約110MB)	JEITA_Aozora_Juman_data1.zip (約120MB)
	JEITA_Aozora_ChaSen_UniDic_data2.zip (約123MB)	JEITA_Aozora_ChaSen_IPAdic_data2.zip (約99MB)	JEITA_Aozora_Juman_data2.zip (約107MB)
	JEITA_Aozora_ChaSen_UniDic_data3.zip (約181MB)	JEITA_Aozora_ChaSen_IPAdic_data3.zip (約145MB)	JEITA_Aozora_Juman_data3.zip (約158MB)
	JEITA_Aozora_ChaSen_UniDic_data4.zip (約154MB)	JEITA_Aozora_ChaSen_IPAdic_data4.zip (約123MB)	JEITA_Aozora_Juman_data4.zip (約135MB)

青空文庫のデータは XXX_data1.zip ～ XXX_data4.zip の4つのファイルで1セットになります。データの使用方法については XXX_data1.zip の中にある Readme.html をお読み下さい。

謝辞

本データを作成する際には多くの公開データ、ツールを使わせていただいております。次の方々に深く感謝いたします。

『プロジェクト杉田玄白』でテキストの翻訳・公開に携わっていらっしゃる皆様
『青空文庫』でテキストの入力・公開に携わっていらっしゃる皆様
全文検索システム『ひまわり』を公開されている国立国語研究所の皆様
形態素解析ツール『茶筌』、電子化辞書『IPA辞書』を公開されている奈良先端科学技術大学院大学松本研究室の皆様
形態素解析ツール『Juman』を公開されている京都大学黒橋研究室の皆様
電子化辞書『UniDic』の作成・公開に携わっていらっしゃる皆様

その他

本データの作成・公開は (社)電子情報技術産業協会知識情報処理技術委員会言語資源分科会で行っています。本データの利用によって生じた損失や損害につきましては、当分科会では一切の責任を負いかねます。あらかじめご了承下さい。
本データに関するご質問、ご意見、ご要望がございましたら、下記の連絡先までお願いします。
(社)電子情報技術産業協会 (JEITA)
知識情報処理技術委員会
言語資源分科会
連絡先:

言語情報処理ポータルに戻る