授業資料/形態素解析 の履歴(No.7)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 授業資料/形態素解析 へ行く。
  • 1 (2011-12-15 (木) 18:07:13)
  • 2 (2012-05-07 (月) 00:33:20)
  • 3 (2012-12-07 (金) 09:45:32)
  • 4 (2013-12-16 (月) 10:49:04)
  • 5 (2014-05-29 (木) 17:05:37)
  • 6 (2016-10-18 (火) 13:00:21)
  • 7 (2016-10-18 (火) 13:00:21)
  • 8 (2021-04-29 (木) 04:22:22)
  • 9 (2021-05-07 (金) 03:41:53)
  • 10 (2021-05-13 (木) 17:28:48)

---

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

茶まめ（解析用のお助けツール）

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ