日本語テキスト処理基礎講座2023
Top
/
日本語テキスト処理基礎講座2023
日本語テキスト処理のためのPC基礎講座2023
†
↑
はじめに
†
時間が足りないので、講習中に完全に理解するのは難しい場合があるかもしれません(というか、たぶん無理)。
自分で検索して調べ直すためのキーワードは分かるはずなのでぜひ復習してください。
勤務時間内だけで全部すませたい方は参加しない方がいいと思います。
↑
利用する主なソフトウェア
†
ソフトウェアの種類・名前
利用目的
テキストエディタ
Visual Studio Code
テキストデータの処理全般、正規表現、XMLなど
表計算ソフト
Excel
ピボットテーブルによる分析、文字列関数、VLOOKUPなど
ターミナル
WSL(Ubuntu)
Linux CUIの基本的なファイル操作、パイプ、テキスト処理ツールの利用
↑
目次
†
録画を見るにはNINJALのMicrosoftアカウントが必要です。
↑
DAY1 7月18日(火)①テキストエディタと正規表現
†
資料:
日本語テキスト処理基礎講座2023/①テキストエディタと正規表現
録画:
https://ninjal-my.sharepoint.com/:v:/g/personal/togiso_ninjal_ac_jp/EVZndtiWE4FHkV9wUEcjSv4BU2_2bWQvV4hYZ99CMsEh8A?e=5zm4ex
↑
DAY2 7月25日(火)②Excelの利用
†
資料:
日本語テキスト処理基礎講座2023/②Excelの利用
録画:
https://ninjal-my.sharepoint.com/:v:/g/personal/togiso_ninjal_ac_jp/ETrXCUHhFV5CpF4XujdRwRwBzmAeBoQCCrfW0s6_50Ilig?e=iJt1pe
↑
DAY3 8月1日(火)③XMLの基礎
†
資料:
日本語テキスト処理基礎講座2023/③XMLの基礎
録画:
https://ninjal-my.sharepoint.com/:v:/g/personal/togiso_ninjal_ac_jp/EdmCpaiS5ZhDuXJLgwfOaYsBkaXrgRs-H4jmY418lmU9TQ?e=RY6RZs
↑
DAY4 8月8日(火)④コマンドラインの基礎
†
資料:
日本語テキスト処理基礎講座2023/④コマンドラインの基礎
録画:
https://ninjal-my.sharepoint.com/:v:/g/personal/togiso_ninjal_ac_jp/ET8vkcj0lbhAolW8XXWlxWwBtB96BHxPba3-f2eWcIqTIg?e=FkKmBT
🍣🍻
↑
歴史を振り返る
†
↑
紙の資料からコーパスまで ~テキストの電子化とアノテーションの高度化
†
(紙の)本文
(紙の)総索引(コンコーダンス)
電子化テキスト:テキストファイル (199x年代~)
授業資料/テキストデータ紹介
構造化テキスト:テキスト+XMLによる構造化タグ (200x年代~)
太陽コーパス
など
単語情報付きのコーパス:テキスト+XMLによる構造化タグ+形態論情報(201x年代~)
現代日本語書き言葉均衡コーパス(BCCWJ)
など
日本語歴史コーパス(CHJ)
など
↑
コーパスのファイル形式とアプリケーション
†
ファイル形式
利用アプリケーション
年代
電子テキスト
プレーンテキストファイル,CSVファイル
テキストエディタ+grepなど
199x年代~
構造化テキスト
XMLファイル
全文検索システム
「ひまわり」
、XMLエディタ(Oxygen, VSCode)、XPath・XSLTなど
200x年代~
単語情報付きデータ
単語情報を埋め込んだXML/XMLファイル+CSVファイル
中納言(オンライン)/
Chaki.Net
(PC上)など
201x年代~
OGISO.NET
自己紹介
OGISO.NET mail
Private
最新の10件
2024-10-31
成蹊2024/日本語学講義D
授業資料/コマンドラインで形態素解析
2024-10-30
総研大2024/言語資源学演習1
授業資料/コマンドラインの基礎
2024-10-28
授業資料/テキストエディタと正規表現
2024-09-29
自己紹介
2024-09-26
授業資料/対数尤度比による特徴語抽出
2024-07-18
成蹊2024/応用日本語講座
2024-07-13
授業資料/コロケーション強度
2024-07-12
学習院2024
Last-modified: 2023-08-09 (水) 19:12:06