総研大2023/言語資源学

総研大2023

• オフィスアワーについて
  • 月3：要予約
  • 月5：いつでも（できれば早めの時間に）

• 言語資源学2023 SharePoint

20230605†

（前回補足）Himawariのindexing†

• コーパスのXMLファイルをUTF-16LE（LF改行）で保存しておくこと！
  • soseki_config.xml
• テキストインポート機能

国語研・形態論情報データベース†

• 報告書：『現代日本語書き言葉均衡コーパス』形態論情報データベースの設計と実装 改訂版 https://doi.org/10.15084/00002857
• 論文：『現代日本語書き言葉均衡コーパス』形態論情報アノテーション支援システムの設計・実装・運用 https://doi.org/10.5715/jnlp.21.301

XMLファイルと形態論情報DB†

• スライド参照

XMLファイルの形態素解析†

• Web茶まめ
• 解析用スクリプト
  • kokoro.xmlの短単位解析結果

SQLによる形態素解析済みコーパスの利用†

• SQL(1) SELECT文の基本
• SQL(2) グループ化、表の結合
• SQL(3) コーパスデータの扱い

• VSCode 拡張：SQL Server (mssql)

20230529†

「太陽コーパス」でのXMLの活用例†

• 「太陽コーパス」とXMLアプリケーション（2000年代）

Himawariでの利用†

• 全文検索システム「ひまわり」（山口昌也先生）

• kokoro.xmlをHimawariで使ってみる
  • 設定ファイルとインデキシング※

XPath, XSLT†

• VSCode XML Tools ※XPathによる検索ができる拡張

• XPathとは
  • https://developer.mozilla.org/ja/docs/Web/XPath
• XSLTとは
  • https://developer.mozilla.org/ja/docs/Web/XSLT

20230522†

日本語学会シンポジウム†

• 情報技術と大規模テキスト資源がひらく日本語史研究
  • YouTube

BCCWJのXMLタグセット†

• https://clrd.ninjal.ac.jp/bccwj/c-xml.html

TEI (Text Encoding Initiative)†

• https://tei-c.org/
  • 参考資料:TEI入門に最適なウェブ資料（関西大・東アジアDHポータル）
  • chapter 8　歴史データのさまざまな応用 －Text Encoding Initiative の現在－（永崎研宣）★『歴史情報学の教科書』

XMLアノテーションの実際†

• サンプルテキスト（青空文庫の夏目漱石「こころ」）をXMLに
  • 練習用サンプルデータkokoto.txt
• タグ付き正規表現を使った置換の応用
  • ただし、正規表現では、XMLのような入れ子のタグに完全にマッチする表現力はない*1

20230514†

書き言葉コーパスの例（テキスト化＋XMLアノテーション＋形態論情報付与）†

• 明六雑誌コーパス：https://ccd.ninjal.ac.jp/cmj/meiroku/

正規表現とは†

• 正規表現　＞用語
  • 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
  • テキストエディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
  • 特殊な文字（メタ文字）はすべて半角

正規表現のいろいろ†

• 授業資料/正規表現
  • 文字クラス [ ]
  • 文字クラスの否定（補集合）[^ ]
  • 繰り返し ? + *
  • グループ化 ()
  • or（論理和） |
  • 文頭 ^、文末 $

正規表現の応用†

• カタカナ語
  • カタカナ（外来語）の形容動詞語幹
• 送りがなの揺れ（行う／行なう）
• 会話文中（"「"で始まる文中）の用例を検索する
• 同一文中での共起
  • 全然～ない。
  • もし～なら（ば）

タグ付き正規表現†

• 走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
  • 次のように置換するととんでもないことに…
    • 検索文字列：走[らりるれろっ]
    • 置換文字列：★走[らりるれろっ]
• タグ付き正規表現：カッコ（半角丸カッコ）と\1（\2，\3…）を使う
• 授業資料/タグつき正規表現

最長一致の原則（greedy matching）†

• 正規表現は、パターンが一致する最も長い範囲にマッチする
  • 例：あ+ → 【\1】
    • ああああああああ →　【ああああああああ】 そのせいで…
  • 例：「(.+)」 → 【\1】
    • 「こんにちは」「さようなら」 →　【こんにちは」「さようなら】
  • 括弧の組ごとに置換するためには「([^」]+)」 → 【\1】　のように書かなければならない
    • 「こんにちは」「さようなら」 →　【こんにちは】【さようなら】
• よりかんたんに指定するには（最短一致，ものぐさ指定）
  • 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける

• （参考）タグ付き正規表現の応用：grepと置換でKWICを作る

検索文字列の中での後方参照†

• 検索語の中で\1を使う
  • (..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
  • (.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
  • (..)\1\1
  • (...)\1

正規表現に関する参考資料†

• サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
• 正規表現に関する本　amazonで検索

ゲームの紹介†

• 正規表現を学ぶ狩りに出ようRegex Hunting
  • https://www.regex-hunting.com/

XML入門†

• (参考) XML入門 https://www.javadrive.jp/xml/

20230508†

紙の資料からコーパスまで ～テキストの電子化とアノテーションの高度化†

1. (紙の)本文
2. (紙の)総索引（コンコーダンス）
3. 電子テキスト：テキスト （199x年代～）
   • 授業資料/テキストデータ紹介
4. 構造化テキスト：テキスト+XMLによる構造化タグ （200x年代～）
   • 太陽コーパスなど
5. 単語情報付きのコーパス：テキスト+XMLによる構造化タグ+形態論情報　（201x年代～）
   • 現代日本語書き言葉均衡コーパス（BCCWJ）など
   • 日本語歴史コーパス（CHJ）など

コーパスのファイル形式とアプリケーション†

• ファイル形式と実例
  1. 電子テキスト：プレーンテキスト
  2. 構造化テキスト：XMLファイル
  3. 単語情報付きデータ：単語情報を埋め込んだXML　／XMLファイル＋CSVファイル
  • （発展）XMLの限界とスタンドオフアノテーション

• それぞれの利用アプリケーション
  1. 電子テキスト：テキストエディタ＋grepなど
  2. 構造化テキスト：全文検索システム「ひまわり」、XMLエディタ（Oxygen, VSCode）、XPath・XSLT
  3. 単語情報付きデータ：中納言（オンライン）／Chaki.Net（PC上）

20230501（オンデマンド） テキストデータ整備の準備†

• 【課題1】VS codeのインストールと設定
  • 拡張機能 Japanese Language Packの追加
    • 参考：https://web.yokkaichi-u.ac.jp/yucc/archives/1542
  • ファイルオープン時にエンコーディングを自動判別するよう設定
    • https://www.javadrive.jp/vscode/setting/index3.html
  • 拡張機能 XML Language Support by Red Hatの追加

• テキストデータについて
  • 授業資料/文字コード関連リンク
  • 授業資料/テキストデータ紹介

• 【課題2】サンプルテキスト（青空文庫の夏目漱石「こころ」）をダウンロードしてVS codeで開き、UTF-8で保存しなおす
  • 練習用サンプルデータkokoto.txt

• 正規表現について
  • 授業資料/正規表現
  • 正規表現を学ぶ狩りに出ようRegex Hunting https://www.regex-hunting.com/

• 【課題3】VS Codeで正規表現を使ってサンプルテキストのふりがなタグを置換で削除

最新の10件