総研大2025/言語資源学演習1 の履歴(No.14)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 総研大2025/言語資源学演習1 へ行く。
  • 1 (2025-10-01 (水) 13:59:47)
  • 2 (2025-10-01 (水) 14:07:53)
  • 3 (2025-10-20 (月) 13:35:54)
  • 4 (2025-10-27 (月) 15:49:13)
  • 5 (2025-11-10 (月) 16:57:07)
  • 6 (2025-11-17 (月) 15:14:45)
  • 7 (2025-11-17 (月) 17:06:40)
  • 8 (2025-12-01 (月) 15:18:47)
  • 9 (2025-12-01 (月) 17:59:34)
  • 10 (2025-12-03 (水) 11:50:22)
  • 11 (2025-12-08 (月) 14:40:23)
  • 12 (2025-12-15 (月) 05:03:08)
  • 13 (2025-12-22 (月) 16:48:40)
  • 14 (2026-01-05 (月) 11:36:08)
  • 15 (2026-01-05 (月) 14:37:03)

---

総研大2025

言語資源学演習1†

• 月曜4限
• 10月27日からはオンライン（Zoom）で実施

1月5日　形態論情報データベース†

• 授業用データ置き場（再掲）
  • 2025言語資源学演習1

コーパス整備対象と担当†

• まずはXMLファイルのテキストの校正、ルビの確認・付与
• 1911年尋常小学理科書
  • 5年生（第五学年児童用）：
  • 6年生（第六学年児童用）：
• 1918年尋常小学理科書
  • 5年生（第五学年児童用）：
  • 6年生（第六学年児童用）：

形態論情報データベース†

• 小木曽智信・中村壮範（2011）『現代日本語書き言葉均衡コーパス』形態論情報データベースの設計と実装 改訂版． 国立国語研究所内部報告書 JC-CCG-10-06

• 小木曽智信・中村壮範（2014） 「『現代日本語書き言葉均衡コーパス』形態論情報アノテーション支援システムの設計・実装・運用」． 『自然言語処理』21巻2号，pp.301–332．

VPNとデータベースアカウント†

12月22日　TEIとOpenCHJ XML†

• OpenCHJの文書定義
  • OCX mini
  • OCX standardは策定中

• XML名前空間
  • XHTMLとOCX, TEIとOCXの語彙（タグ）を混ぜる

• XSD (XMLスキーマ)によるXML文書の検証

テキストの抜き出しと形態素解析†

• テキスト抜き出しプログラム : extract_ocx_doc.py

python3 extract_ocx_doc.py 1911尋常小学理科書_第5学年児童用_900089986.xml 1911尋常小学理科書_第5学年児童用_900089986.txt

• 授業資料/コマンドラインで形態素解析参照
  • 辞書は近代文語UniDicを使う

wget https://clrd.ninjal.ac.jp/unidic_archive/2308/unidic-kindai-bungo-v202308.zip
unzip unidic-kindai-bungo-v202308.zip

mecab -d unidic-kindai-bungo -Ochamame2 1911尋常小学理科書_第5学年児童用_900089986.txt > 1911尋常小学理科書_第5学年児童用_900089986.tsv

12月15日　CH研作戦会議†

• CH研@石垣島

• OpenCHJ講習会準備

12月8日　XML文書の完成・検証・変換†

生成AIによる処理†

• 先日（11月19日）出たGemini3が賢い
• 画像→（OCR）→テキスト→（アノテーション）→XML文書

• 追加資料
  • 1918尋常小学理科書_第5学年児童用_900185395
  • 1918尋常小学理科書_第6学年児童用_900185406

文書型定義と検証†

• 文書型定義
  • DTD
  • XSD (XML Schema)

• TEIのスキーマで検証

XSLTによる変換†

• TEI（likeの）XMLからコーパス用（ひまわり用）XMLに変換

12月1日　XML文書の設計・XLST概説†

データの修正・ファイルの結合†

• 1910第五学年児童用尋常小学理科書.xml

• 処理方針の統一
  • ノンブル→削除
  • 異体字
  • ふりがな→今後追加
  • 傍線→削除？
  • 図→ブロック

XMLの基礎・復習†

• XMLの基礎

タグセットの設計†

• TEIについて: Text Encoding Initiative
  • TEIガイドライン

• 最低限必要そうなもの text/front/body/back/div/pb/lb/ruby

コマンドラインでXML†

• XML文書の整形・検証: xmllint
• XSLT: xsltproc

「太陽コーパス」のXMLアプリとXSLT†

11月24日　【振替休日】†

11月17日　XMLファイルの整備†

• 復習：総研大2025/言語資源学 参照
  • XMLとは
  • 正規表現の利用

• 授業資料/コマンドラインの基礎つづき
  • パイプ
  • テキストファイルの置換（sed）
  • バッチファイル

授業用データ置き場（OneDrive）†

• 2025言語資源学演習1

OCR結果の修正 （！次回まで）†

• 1910第五学年児童用尋常小学理科書.xml
• 担当箇所
  • 先頭～いんげん豆：K
  • 燕～たねの散布：G
  • 松蕈～最後：O

参考：言語処理100本ノック 2025†

• https://nlp100.github.io/2025/ja/index.html

11月10日　OCR済みテキストの処理（コマンドラインの基礎）†

データ処理環境の確認†

• VisualStudio Code
  • 授業資料/テキストエディタと正規表現
• WSL (Ubuntu)
  • 授業資料/コマンドラインの基礎

OCR済みテキストの整備†

• コマンドラインに慣れる

• ファイルの取り扱い
• プレーンテキストからXMLへ

10月27日　資料選定とOCR†

資料選定†

• 近代・国定教科書の理科

• 国立教育政策研究所 国定教科書
• 広島大学図書館所蔵「教科書コレクション」画像データベース

• 尋常小学理科書 第六学年 児童用
  • 著者 : 文部省[編](モンブショウ)
  • 出版年 : 1911, 明治44
  • https://dc.lib.hiroshima-u.ac.jp/da/ja/3549

• 尋常小学理科書 第五学年 児童用
  • 著者 : 文部省[編](モンブショウ)
  • 出版年 : 1911, 明治44
  • https://dc.lib.hiroshima-u.ac.jp/da/ja/3550
  • https://nieropac.nier.go.jp/lib/database/KINDAI/EG00016652/900089986.pdf#page=33.00 (明治43)
  • 参考 教師用（NDL） https://lab.ndl.go.jp/dl/book/918076

OCR†

• お手軽
  • AdobeAcrobat のOCR機能
  • Google Drive のOCR機能
• 市販OCRソフト
  • 完全読取
  • WinReader PRO
• 国立国会図書館 NDLOCR
  • (cli) https://github.com/ndl-lab/ndlocr_cli
  • NDL古典籍OCR Lite (Web版:https://ndlkotenocr-lite-web.netlify.app/ )
• 最近話題のLLM系
  • DeepSeek-OCR

10月20日　ガイダンス†

• シラバス

• 対象資料の選定
  • 自分の研究で使いたい資料
  • オープンデータ

• 整備した資料をOpenCHJの一部として公開することを検討

データ処理環境の整備†

• VisualStudio Code
  • 授業資料/テキストエディタと正規表現
• WSL (Ubuntu)
  • 授業資料/コマンドラインの基礎