総研大2024

言語資源学演習Ⅰ†

• 月曜4限

• 授業フォルダ（OneDrive）

今後の予定†

• 1月13日　祝日 成人の日
• 1月20日　休講 COLING2025　／　「大納言」「UniDicExplorer」のセットアップ（形態論補情報データベース）
• 1月27日　授業 （「大納言」によるコーパスの修正＋公開準備作業）
• 2月3日,4日,5日　データ整備が終わったところで終了

2025/1/6†

• サーバ入替のためDBへのインポートができないので別の話をします。

授業資料/形態素解析

形態素解析：「Mecab」と「UniDic」†

形態素解析とは†

どんなものか

• デモ: Web茶まめ　(MeCab + UniDic）
  • https://chamame.ninjal.ac.jp/

---

• 日本語の自然言語処理の基礎技術
• 今ではかなり枯れた技術
• 機械学習による言語処理のはしり

---

• 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
  • 「形態素解析」= "Morphological analysis"
  • morphologicalな（形態論上の）単位は形態素だけではない（訳語に問題がある）
  • 日本語の形態素解析の単位は一般に「語」（語をどう定義するかという問題は残る）

• 形態素解析の仕組み
  • 生起コストと連接コスト
    • その語はどれくらい出てくるか、どんな語とつながりやすいか
    • コーパスから統計的に取得（機械学習）
  • 経路の選択（参考：ビタビアルゴリズム）

形態素解析用ソフトウェア†

以前から使われているソフトウェア

• 形態素解析器（解析エンジン・プログラム）
  • JUMAN
  • 茶筌（ChaSen） <HMM
  • 和布蕪（MeCab） <CRF
• 解析用辞書
  • IPADIC
  • NAIST-jdic
  • UniDic

• Web茶まめ（解析用のお助けツール）
  • MeCab＋UniDic/IPAdic

UniDicの特長†

1. 見出し語が短単位という斉一な単位に揃えられている
2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
3. アクセントや音変化の情報を付与することができる
4. 語種など言語研究のための豊富な情報が付与されている

• UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
  • 後から開発されたMeCabの方が解析精度が高いのでおすすめ

比較的新しい形態素解析器†

• KyTea
  • http://www.phontron.com/kytea/index-ja.html
  • 点予測という系列ラベリングとは別の手法による形態素解析器
• JUMAN++
  • https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN%2B%2B
  • 深層学習（RNN）を使った形態素解析器

形態素解析に関する専門書†

• 工藤拓『形態素解析の理論と実装』近代科学社（2018）

（参考）長単位解析器†

• Comainu*2
  • https://ja.osdn.net/projects/comainu/

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

（参考）係り受け解析器†

• CaboCha
  • https://taku910.github.io/cabocha/

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

MeCabのオプション†

-a, --all-morphs               output all morphs(default false)
-N, --nbest=INT                output N best results (default 1)

• 全候補語

  echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab -a -d ~/unidic-cwj

• nベスト解

  echo "政府の行為によつて再び戦争の惨禍が起ることのないやうにする" | mecab --nbest=3 -d ~/unidic-cwj

• 生起コスト表示（出力オプションで%c指定）

  mecab -d unidic-cwj --node-format="%c\t%m\t%f[7]\t%f[6]\t%f[23]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\t%f[8]\t%f[9]\t%f[12]\n" 

pythonからmecabを呼ぶ†

＃pip install mecab-python3
apt install python3-mecab

import MeCab

• サンプル未知語抽出
  • unkdetect.py

2024/12/23†

青空文庫XHTML取得シェルスクリプト†

#山月記
wget https://www.aozora.gr.jp/cards/000119/files/624_14544.html
#メロス
wget https://www.aozora.gr.jp/cards/000035/files/1567_14913.html
#注文の多い料理店
wget https://www.aozora.gr.jp/cards/000081/files/43754_17659.html
#高瀬舟
wget https://www.aozora.gr.jp/cards/000129/files/45245_22007.html
#羅生門
wget https://www.aozora.gr.jp/cards/000879/files/127_15260.html
#トロッコ
wget https://www.aozora.gr.jp/cards/000879/files/43016_16836.html

#文字コード変換
nkf -w --overwrite *.html
#Shift_JIS指定行を削除
sed -i '/Shift_JIS/d' *.html

XHTML変換プログラム†

授業資料/PythonでXML

• axhtml2xml.py

外字の対応表（プログラムと同じ場所に置いておく）

• gaiji_map.json
  • 参考：https://gist.github.com/whitebell/a7a8641cacbb8fb2e3113d7a6538293f

python3 axhtml2xml.py "*.html"

XMLファイルの検証†

コーパス用XMLの文書型定義(XML schema）

• aozora.xsd

データの検証（Validation）用pythonプログラム

• validate.py

python3 validate.py 1567_14913_太宰治\ 走れメロス.xml aozora.xsd

XMLファイルの短単位解析とDBへのインポート†

• 短単位解析結果 morph.txt

2024/12/16†

青空文庫XHTMLをコーパス用XMLにする†

• 授業資料/PythonでXML

• 方針を決める
  • 余計なタグをどうするか
  • フリガナの処理
• Pythonで変換プログラムを書く

2024/12/09 休講†

• 風邪のためお休みです

2024/12/02 休み†

2024/11/25†

はじめてのPython†

• 準備

• 青空文庫テキストを整形する
• 授業資料/Pythonでテキストデータ整形
• ChatGPTにうまく聞く

ライブラリのインストール†

• ライブラリ、パッケージ、モジュール

2024/11/18†

コマンドラインで形態素解析†

• コマンドラインで形態素解析
• diff, cut, sort, uniq

はじめてのPython†

• Pythonでデータ整形（準備）
• ChatGPTにうまく聞く

2024/11/11†

• コマンドラインに慣れる

2024/10/28 対象資料の決定／データ処理環境の整備†

対象資料の決定†

• 紙資料(OCR)
  • NDLOCR
  • WinReader PRO v.15

• デジタルデータ
  • Wikisource
  • 青空文庫

• 円朝の落語　https://www.aozora.gr.jp/index_pages/person989.html#sakuhin_list_1 -- K 2024-10-28 (月) 15:21:18
• 山月記　https://www.aozora.gr.jp/cards/000119/files/624_14544.html -- 呉 2024-10-28 (月) 15:21:50
• 注文の多い料理店　https://www.aozora.gr.jp/cards/000081/files/43754_17659.html -- hk 2024-10-28 (月) 15:22:16
• 舞姫 https://www.aozora.gr.jp/cards/000129/card682.html -- ogi 2024-10-28 (月) 15:25:51

データ処理環境の整備†

• VisualStudio Code
  • 授業資料/テキストエディタと正規表現
• WSL (Ubuntu)
  • 授業資料/コマンドラインの基礎

生成AI（Python プログラミングのサポート）†

• https://chatgpt.com/

2024/10/21 ガイダンス†

• シラバス

• 対象資料の選定
  • 自分の研究で使いたい資料
  • オープンデータ

• 整備した資料をOpenCHJの一部として公開することを検討

最新の10件