形態素解析:「Mecab」と「UniDic」

形態素解析とは

  • 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
    • 「形態素解析」= "Morphological analysis"
    • morphologicalな(形態論上の)単位は形態素だけではない(訳語に問題がある)
    • 日本語の形態素解析の単位は一般に「語」(語をどう定義するかという問題は残る)
  • 形態素解析の仕組み
    • 生起コストと連接コスト
      • その語はどれくらい出てくるか、どんな語とつながりやすいか
      • コーパスから統計的に取得(機械学習)
    • 経路の選択(参考:ビタビアルゴリズム

morph.png

形態素解析用ソフトウェア

主なソフトウェア

茶まめ(解析用のお助けツール)

UniDicの特長

  1. 見出し語が短単位という斉一な単位に揃えられている
  2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
  3. アクセントや音変化の情報を付与することができる
  4. 語種など言語研究のための豊富な情報が付与されている
  • UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
    • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

*1 最新版はMeCab版のみ

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS