総研大2023/言語資源学 の履歴(No.4)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 総研大2023/言語資源学 へ行く。
  • 1 (2023-05-01 (月) 05:30:06)
  • 2 (2023-05-01 (月) 21:07:31)
  • 3 (2023-05-08 (月) 07:41:27)
  • 4 (2023-05-08 (月) 23:59:02)
  • 5 (2023-05-14 (日) 21:28:29)
  • 6 (2023-05-19 (金) 05:38:10)
  • 7 (2023-05-23 (火) 00:34:12)
  • 8 (2023-05-23 (火) 04:38:57)
  • 9 (2023-05-24 (水) 20:39:39)
  • 10 (2023-05-29 (月) 19:17:52)
  • 11 (2023-05-30 (火) 02:04:28)
  • 12 (2023-06-04 (日) 11:47:09)

---

総研大2023

20230508†

紙の資料からコーパスまで ～テキストの電子化とアノテーションの高度化†

1. (紙の)本文
2. (紙の)総索引（コンコーダンス）
3. 電子テキスト：テキスト （199x年代～）
   • 授業資料/テキストデータ紹介
4. 構造化テキスト：テキスト+XMLによる構造化タグ （200x年代～）
   • 太陽コーパスなど
5. 単語情報付きのコーパス：テキスト+XMLによる構造化タグ+形態論情報　（201x年代～）
   • 現代日本語書き言葉均衡コーパス（BCCWJ）など
   • 日本語歴史コーパス（CHJ）など

OCRによるテキスト化†

• 光学文字認識(Optical Character Recognition)

• 商用ソフトウェアの例*1
  • e.Typist
  • 読取革命
  • ABBYY FineReader
  • WinReaderPro (高機能だが高額)

• フリーソフトウェア
  • NDLOCR
    • 国会図書館の委託で作られたフリーソフトで特に近代活字の認識精度が非常に高い
    • インストールはやや手間だが、GoogleColab版で簡単に試せる
    • （参考）https://zenn.dev/nakamura196/articles/b6712981af3384
  • 古典籍OCRも公開された
  • Tessaract（多言語対応）

• Webサービス
  • Google DriveのOCR機能
    • Googleドライブにアップロードした画像をGoogleドキュメントで開く

電子化とアノテーション（明六雑誌コーパスを例に）†

• 明六雑誌コーパス：https://ccd.ninjal.ac.jp/cmj/meiroku/

• ファイル形式と実例
  1. 電子テキスト：プレーンテキスト
  2. 構造化テキスト：XMLファイル
  3. 単語情報付きデータ：単語情報を埋め込んだXML　／XMLファイル＋CSVファイル
  • （発展）XMLの限界とスタンドオフアノテーション

• それぞれの利用アプリケーション
  1. 電子テキスト：テキストエディタ＋grepなど
  2. 構造化テキスト：全文検索システム「ひまわり」、XMLエディタ（Oxygen, VSCode）、XPath・XSLT
  3. 単語情報付きデータ：中納言（オンライン）／Chaki.Net（PC上）

XMLの活用例†

• 「太陽コーパス」とXMLアプリケーション（2000年代）

アノテーションの実際†

• サンプルテキスト（青空文庫の夏目漱石「こころ」）をXMLに
  • 練習用サンプルデータkokoto.txt

20230501（オンデマンド） テキストデータ整備の準備†

• 【課題1】VS codeのインストールと設定
  • 拡張機能 Japanese Language Packの追加
    • 参考：https://web.yokkaichi-u.ac.jp/yucc/archives/1542
  • ファイルオープン時にエンコーディングを自動判別するよう設定
    • https://www.javadrive.jp/vscode/setting/index3.html
  • 拡張機能 XML Language Support by Red Hatの追加

• テキストデータについて
  • 授業資料/文字コード関連リンク
  • 授業資料/テキストデータ紹介

• 【課題2】サンプルテキスト（青空文庫の夏目漱石「こころ」）をダウンロードしてVS codeで開き、UTF-8で保存しなおす
  • 練習用サンプルデータkokoto.txt

• 正規表現について
  • 授業資料/正規表現
  • 正規表現を学ぶ狩りに出ようRegex Hunting https://www.regex-hunting.com/

• 【課題3】VS Codeで正規表現を使ってサンプルテキストのふりがなタグを置換で削除