総研大2024/言語資源学演習1

総研大2024

言語資源学演習Ⅰ†

• 月曜4限

• 授業フォルダ（OneDrive）

2024/12/09†

青空文庫XHTMLをコーパス用XMLにする†

• 授業資料/PythonでXML

• 方針を決める
  • 余計なタグをどうするか
  • フリガナの処理
• Pythonで変換プログラムを書く

• コーパス用XMLの文書型定義(DTD）
• データの検証（Validation）

2024/12/02 休み†

2024/11/25†

はじめてのPython†

• 準備

• 青空文庫テキストを整形する
• 授業資料/Pythonでテキストデータ整形
• ChatGPTにうまく聞く

ライブラリのインストール†

• ライブラリ、パッケージ、モジュール

2024/11/18†

コマンドラインで形態素解析†

• コマンドラインで形態素解析
• diff, cut, sort, uniq

はじめてのPython†

• Pythonでデータ整形（準備）
• ChatGPTにうまく聞く

2024/11/11†

• コマンドラインに慣れる

2024/10/28 対象資料の決定／データ処理環境の整備†

対象資料の決定†

• 紙資料(OCR)
  • NDLOCR
  • WinReader PRO v.15

• デジタルデータ
  • Wikisource
  • 青空文庫

• 円朝の落語　https://www.aozora.gr.jp/index_pages/person989.html#sakuhin_list_1 -- K 2024-10-28 (月) 15:21:18
• 山月記　https://www.aozora.gr.jp/cards/000119/files/624_14544.html -- 呉 2024-10-28 (月) 15:21:50
• 注文の多い料理店　https://www.aozora.gr.jp/cards/000081/files/43754_17659.html -- hk 2024-10-28 (月) 15:22:16
• 舞姫 https://www.aozora.gr.jp/cards/000129/card682.html -- ogi 2024-10-28 (月) 15:25:51

データ処理環境の整備†

• VisualStudio Code
  • 授業資料/テキストエディタと正規表現
• WSL (Ubuntu)
  • 授業資料/コマンドラインの基礎

生成AI（Python プログラミングのサポート）†

• https://chatgpt.com/

2024/10/21 ガイダンス†

• シラバス

• 対象資料の選定
  • 自分の研究で使いたい資料
  • オープンデータ

• 整備した資料をOpenCHJの一部として公開することを検討

最新の10件