Q研2014 の履歴(No.1)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Q研2014 へ行く。
  • 1 (2014-09-30 (火) 12:07:19)
  • 2 (2014-09-30 (火) 14:53:12)
  • 3 (2014-09-30 (火) 15:11:13)

---

FrontPage

コーパス日本語学のためのテキスト処理入門

自分でデータをなんとかする

テキストの前処理

量が多くなければテキストエディタと正規表現で何とかなる

• 形態素解析の前処理
  • 形態素解析システムの入力は「文」なのでテキストを文に整えてから形態素解析に回す
  • 単語の境界に入り込むようなタグ（ルビなど）は解析前に外す
  • MeCabでは半角スペースで境界を（手動で）指定できる
    • 「形態論情報データベース」（大納言のシステム）では、XML文書を入力として、sentenceタグをもとに文単位に区切り、全てのタグを取り外したテキストを形態素解析した後、タグを元の位置に戻している（必ず単位境界になるタグは半角スペースで残す）。XSLTとPerlで処理。

• 係り受け解析の前処理
  • 形態素解析済みの表形式テキスト
  • 形態素解析のエラーは係り受け解析にも引きずるので、全体を人手で直すなら形態素解析結果を直した後で係り受け解析にかける

コーパス管理システム「茶器」

「茶器」と関連ツールのインストール

1. 「茶器」本体
   1. ChaKi.NETのインストール http://sourceforge.jp/projects/chaki/
2. 形態素解析
   1. MeCab http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
   2. UniDic 2.xのインストール http://sourceforge.jp/projects/unidic/
      1. あるいは歴史的資料を対象としたUniDic http://www2.ninjal.ac.jp/lrc/index.php?UniDic

• 係り受け解析
  1. CaboCha https://code.google.com/p/cabocha/
     1. UniDicモデル ：chakiのページからダウンロード可能（標準のIPAdicのモデルでも十分）

「茶器」の利用

1. データの解析と取り込み
   • 付属のTextFormatter（辞書変更の自由がきかない。）
   • 茶まめ（標準では出力形式があわない。要望があれば何とかします）
2. 茶器による検索
   • 文字列検索
   • 正規表現検索
   • タグ検索（形態論情報を利用した検索）
   • 係り受け検索
3. ワードリスト
4. コロケーション強度
5. 解析結果の修正