総研大2025/言語資源学演習1 の履歴(No.9) - OGI-Wiki

履歴一覧
差分を表示
現在との差分を表示
ソースを表示
総研大2025/言語資源学演習1 へ行く。
- 1 (2025-10-01 (水) 13:59:47)
- 2 (2025-10-01 (水) 14:07:53)
- 3 (2025-10-20 (月) 13:35:54)
- 4 (2025-10-27 (月) 15:49:13)
- 5 (2025-11-10 (月) 16:57:07)
- 6 (2025-11-17 (月) 15:14:45)
- 7 (2025-11-17 (月) 17:06:40)
- 8 (2025-12-01 (月) 15:18:47)
- 9 (2025-12-01 (月) 17:59:34)

言語資源学演習1†

月曜4限
10月27日からはオンライン（Zoom）で実施

12月8日　XML文書の完成・検証・変換†

12月1日　XML文書の設計・XLST概説†

データの修正・ファイルの結合†

1910第五学年児童用尋常小学理科書.xml

処理方針の統一
- ノンブル→削除
- 異体字
- ふりがな→今後追加
- 傍線→削除？
- 図→ブロック

XMLの基礎・復習†

XMLの基礎

タグセットの設計

文書型定義
- DTD
- XSD (XML Schema)

コマンドラインでXML
- XMLファイル検証: xmllint
- XSLT: xsltproc

11月24日　【振替休日】†

11月17日　XMLファイルの整備†

復習：総研大2025/言語資源学参照
- XMLとは
- 正規表現の利用

授業資料/コマンドラインの基礎つづき
- パイプ
- テキストファイルの置換（sed）
- バッチファイル

授業用データ置き場（OneDrive）†

2025言語資源学演習1

OCR結果の修正（！次回まで）†

1910第五学年児童用尋常小学理科書.xml
担当箇所
- 先頭～いんげん豆：K
- 燕～たねの散布：G
- 松蕈～最後：O

参考：言語処理100本ノック 2025†

https://nlp100.github.io/2025/ja/index.html

11月10日　OCR済みテキストの処理（コマンドラインの基礎）†

データ処理環境の確認†

VisualStudio Code
- 授業資料/テキストエディタと正規表現
WSL (Ubuntu)
- 授業資料/コマンドラインの基礎

OCR済みテキストの整備†

コマンドラインに慣れる

ファイルの取り扱い
プレーンテキストからXMLへ

10月27日　資料選定とOCR†

資料選定†

近代・国定教科書の理科

尋常小学理科書第六学年児童用
- 著者 : 文部省[編](モンブショウ)
- 出版年 : 1911, 明治44
- https://dc.lib.hiroshima-u.ac.jp/da/ja/3549

尋常小学理科書第五学年児童用
- 著者 : 文部省[編](モンブショウ)
- 出版年 : 1911, 明治44
- https://dc.lib.hiroshima-u.ac.jp/da/ja/3550
- https://nieropac.nier.go.jp/lib/database/KINDAI/EG00016652/900089986.pdf#page=33.00 (明治43)
- 参考教師用（NDL） https://lab.ndl.go.jp/dl/book/918076

OCR†

お手軽
- AdobeAcrobat のOCR機能
- Google Drive のOCR機能
市販OCRソフト
- 完全読取
- WinReader PRO
国立国会図書館 NDLOCR
- (cli) https://github.com/ndl-lab/ndlocr_cli
- NDL古典籍OCR Lite (Web版:https://ndlkotenocr-lite-web.netlify.app/ )
最近話題のLLM系
- DeepSeek-OCR

10月20日　ガイダンス†

シラバス

対象資料の選定
- 自分の研究で使いたい資料
- オープンデータ

整備した資料をOpenCHJの一部として公開することを検討

データ処理環境の整備†

VisualStudio Code
- 授業資料/テキストエディタと正規表現
WSL (Ubuntu)
- 授業資料/コマンドラインの基礎