東大2016/コーパス言語学入門 の履歴(No.15)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 東大2016/コーパス言語学入門 へ行く。
  • 1 (2016-09-30 (金) 09:04:58)
  • 2 (2016-09-30 (金) 09:05:09)
  • 3 (2016-09-30 (金) 15:50:04)
  • 4 (2016-10-06 (木) 11:46:28)
  • 5 (2016-10-06 (木) 16:46:20)
  • 6 (2016-10-07 (金) 05:15:04)
  • 7 (2016-10-07 (金) 14:15:41)
  • 8 (2016-10-13 (木) 17:18:59)
  • 9 (2016-10-13 (木) 22:29:53)
  • 10 (2016-10-14 (金) 02:21:23)
  • 11 (2016-10-18 (火) 04:11:11)
  • 12 (2016-10-21 (金) 12:41:33)
  • 13 (2016-10-27 (木) 17:29:49)
  • 14 (2016-10-28 (金) 09:12:17)
  • 15 (2016-10-28 (金) 14:56:57)
  • 16 (2016-11-18 (金) 11:16:13)
  • 17 (2016-11-24 (木) 18:06:40)
  • 18 (2016-11-25 (金) 14:45:14)
  • 19 (2016-12-02 (金) 09:15:20)
  • 20 (2016-12-02 (金) 14:48:47)
  • 21 (2016-12-09 (金) 03:47:23)
  • 22 (2016-12-15 (木) 17:45:59)
  • 23 (2016-12-16 (金) 09:23:43)
  • 24 (2016-12-16 (金) 15:48:04)
  • 25 (2017-01-04 (水) 11:32:50)
  • 26 (2017-01-06 (金) 13:06:39)

---

コーパス言語学入門・日本語コーパスの活用

• コーパス言語学入門(人文社会系研究科/基礎文化研究専攻言語学専門分野)
• 人文情報学特殊講義(文学部次世代人文学開発センター)
• 言語学特殊講義(文学部言語文化学科言語学専修課程)
• 冬学期 4限（14：55～16：40） 法文1号室 111教室

---

• コーパス検索アプリケーション中納言
• 国語研究所・コーパス開発センター

2016/10/28

補足

• UniDicとiPhoneなど
• 近代雑誌コーパスの『日本語歴史コーパス』への追加について
• 11月11日 休講
  • https://ceas.uchicago.edu/page/digital-humanities-workshop

「中納言」の利用続き

• 配布資料：「中納言の使い方」
  • 複数単位の組み合わせ（共起・連接）～

2016/10/21

（復習）

• 授業資料/UniDicの見出し語階層

コーパスへの形態論情報の付与

• 短単位：MeCabとUniDicを使った形態素解析で情報付与
• 長単位：Comainu（など）で短単位を組み上げる

• BCCWJ関連報告書 http://pj.ninjal.ac.jp/corpus_center/bccwj/doc.html
  • 形態論情報規程集(PDF)　第4版 上・第4版 下

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*2
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

最近の動向

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++
  • ごく最近公開されたRNN（ディープラーニングの一種）を使った形態素解析器

長単位解析器

• Comainu
  • https://ja.osdn.net/projects/comainu/

係り受け解析器

• CaboCha
  • https://taku910.github.io/cabocha/ ※（中納言で使える）BCCWJには係り受け情報は付いていない。

参考図書

#amazon(4254516010,left) #amazon(4254516029,left) #amazon(479812852X,left) #amazon(4339024511,left) #amazon(4873114705,left) #amazon(4339027510,left)

2016/10/14

• 配布資料：「中納言の使い方」（次回以降も使います）

（前回補足）コーパスの設計とサンプリング

• BCCWJの基本設計：http://pj.ninjal.ac.jp/corpus_center/bccwj/basic-design.html
• サンプリング：http://pj.ninjal.ac.jp/corpus_center/bccwj/sampling.html

XMLによる電子化

• http://pj.ninjal.ac.jp/corpus_center/bccwj/XML.html

形態論情報

• http://pj.ninjal.ac.jp/corpus_center/bccwj/morphology.html

• 短単位と長単位
  • （配付資料）参照
  • （スライド）参照

• 品詞体系
  • BCCWJはUniDicの品詞体系にもとづく
    • 形態論情報の例
  • 授業資料/UniDicの品詞体系
  • 授業資料/UniDicの見出し語階層

2016/10/7

• 配布資料：「仮想講義」（前川）

「コーパス」について†

• OED corpus, n.　http://www.oed.com/view/Entry/41873

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

• 現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ）

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。

• さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録）
• Web上のデータ
  • 検索サイトの利用
  • WAC（Web as Corpus）

紙の資料からコーパスまで (日本語研究資料の変遷)

1. (紙の)本文
2. (紙の)総索引（コンコーダンス）
3. 各種の電子テキスト
4. 構造化テキスト
   • 太陽コーパスなど
5. 形態論情報付きコーパス
   • 現代日本語書き言葉均衡コーパス（BCCWJ）など

コーパスに求められるもの

• コーパス以前の電子化日本語資料（とその限界）
  • 個人研究者による電子化テキスト
    • cf. 日本文学等テキストファイル(岡島昭浩)
  • 出版社による電子出版物（CD-ROM）
    • 新潮文庫の100冊 etc.
  • 新聞のデータベース（CD-ROM）
    • 毎日新聞CD-ROM etc.
  • 研究機関のデータベース
    • 国文学資料館 大系DB etc.
  • Web上のテキストアーカイブ
    • 青空文庫 etc.
  • Webそのもの
    • Web as Corpus

• コーパスへの要請
  • 大規模であること
  • 各種のテキストが含まれていて、ジャンルなどのバランスがとれていること
  • 著作権の問題がないこと
  • 言語研究に利用できる情報がついていること

コーパスの設計とサンプリング

• （スライド参照）
• 均衡コーパス（Balanced corpus）
  • 「バランスがとれている」とは？
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長

参考リンク

• 英語のコーパス リファレンス
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
• 現代日本語書き言葉均衡コーパス（BCCWJ）
  • 現代日本語書き言葉均衡コーパス：概要
  • 現代日本語書き言葉均衡コーパス：サンプリング

2016/9/30

イントロダクション/日本語コーパスの紹介

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
  • 国立国語研究所コーパス開発センター
• コーパス
  • 現代日本語書き言葉均衡コーパス（BCCWJ）
  • 日本語歴史コーパス（CHJ）
  • 形態素解析辞書UniDic

• デモ
  • BCCWJ少納言
  • BCCWJ中納言
  • Web茶まめ
  • Excelによる集計（ピボットテーブル）

• シラバス確認
  • この授業の目的
  • 授業の進め方
  • 評価方法
• 受講者の関心・スキルについて

「中納言」オンライン利用申込み

• https://chunagon.ninjal.ac.jp/useraccount/register