成蹊2025/応用日本語講座
の履歴(No.6)
履歴一覧
差分
を表示
現在との差分
を表示
ソース
を表示
成蹊2025/応用日本語講座
へ行く。
1 (2025-04-10 (木) 03:59:57)
2 (2025-04-11 (金) 10:30:28)
3 (2025-04-17 (木) 11:36:03)
4 (2025-04-24 (木) 23:52:38)
5 (2025-05-01 (木) 21:16:58)
6 (2025-05-08 (木) 17:20:28)
7 (2025-05-16 (金) 09:07:36)
8 (2025-05-16 (金) 19:25:18)
9 (2025-05-23 (金) 08:38:30)
10 (2025-05-30 (金) 11:51:14)
11 (2025-05-30 (金) 11:55:45)
12 (2025-06-05 (木) 22:55:02)
13 (2025-06-06 (金) 12:20:16)
14 (2025-06-10 (火) 17:41:09)
15 (2025-06-13 (金) 10:19:47)
16 (2025-06-19 (木) 20:34:31)
成蹊2025
応用日本語講座
†
2025年度前期・金曜2限:
10:40~12:20
教室:7号館303
Mail:
ogiso@ogiso.net
シラバス
CoursePower授業ページ
↑
05/09 「ひまわり」の利用と検索結果のExcelでの集計/正規表現小テスト
†
↑
「ひまわり」とその使い方(復習)
†
ひまわりの動作確認
検索方法の説明
ひまわりの正規表現について(
授業資料/Himawariの正規表現
)
ふりがな(ルビ)の検索
↑
ひまわり検索結果をExcelで扱う
†
例:「それきり」「それぎり」
(作家/作品別の比較)
↑
Excelの基本操作
†
並べ替え(ソート)
フィルター(絞り込み)
テキストフィルター
多重フィルター(複数の条件指定)
ピボットテーブル【重要】
ピボットグラフ
↑
生年代による集計(通時的変化)
†
文字列処理関数の利用
例: =LEFT(<文字列>,<文字数>)
*1
生年代: =LEFT(<生年月日が入っているセル>,3)*10
生年月日データの書式について
下記の手順で「青空文庫」の生年月日が書式の自動変換でおかしくなるのを防ぐ必要がある
Excelでは1900年以前の年月日は文字列、それ以降は日付として認識されるため
Himawariで「すべて選択」後、「すべて選択」「コピー(列名含む)」をする
Excelで生年月日の列が貼り付けられることになる列(NとO)を丸ごと選択し、書式を「文字列」とする
Excelに貼り付ける
↑
正規表現小テスト
†
↑
05/02 高度な正規表現/全文検索システム「ひまわり」
†
↑
タグ付き正規表現
†
走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
次のように置換するととんでもないことに…
検索文字列:走[らりるれろっ]
置換文字列:★走[らりるれろっ]
タグ付き正規表現:カッコ(半角丸カッコ)と$1
*2
($2,$3…)を使う
授業資料/タグつき正規表現
↑
最長一致の原則(greedy matching)
†
正規表現は、パターンが一致する最も長い範囲にマッチする
例:
あ+
→
【$1】
ああああああああ → 【ああああああああ】 そのせいで…
例:
「(.+)」
→
【$1】
「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
括弧の組ごとに置換するためには
「([^」]+)」
→
【$1】
のように書かなければならない
「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
よりかんたんに指定するには(最短一致,ものぐさ指定)
「(.+?)」「(.*?)」
のように、繰り返し指定の+*の後に「?」をつける
(参考)タグ付き正規表現の応用:
grepと置換でKWICを作る
↑
検索文字列の中での後方参照
†
検索語の中で\1
*3
を使う
(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
(..)\1\1
(...)\1
↑
正規表現に関する参考資料
†
正規表現に関する本
amazonで検索
↑
補足:Wordのワイルドカードと正規表現
†
https://note.com/jinbunxshakai/n/n8070db080041
↑
「ひまわり」の準備
†
全文検索システム「ひまわり」
↑
「ひまわり」のインストール
†
ひまわり のダウンロードページ
からプログラム本体(zipファイル)をダウンロード
zipファイルを右クリックしてプロパティを見る→「セキュリティ」の右の「許可する」をチェックして「OK」
ダブルクリックして開き、中のフォルダをまるごと(USBメモリに)コピー
フォルダ内のhimawari.exeをダブルクリックで起動(MacはHimawari.jar、または最初からMac版をインストール)
↑
「青空文庫パッケージ」のインストール
†
青空文庫パッケージのダウンロード
ひまわり用「青空文庫」パッケージのダウンロードページ
から「日本文学/小説(ndc913) 」をUSBメモリに直接ダウンロードして保存(サイズが大きいので大学のPCではダウンロードできない)
himawari.exeを起動
Himawari画面のファイル→インストールをえらび、青空文庫パッケージのzipファイルを指定
しばらく待つと完了(場合によっては数分から10分程度はかかる)
要らなくなったUSBメモリ上の青空文庫パッケージzipファイルは不要なので削除する
↑
全文検索システム「ひまわり」
†
全文検索システム「ひまわり」
ただのテキストファイル(プレーンテキスト)ではなく、XML形式にして、インデックスを付けた専用のデータを利用
自分で専用のデータを作ることもできるが、できあがって公開されているパッケージを利用するのが普通
↑
「ひまわり」とその使い方
†
ひまわりの動作確認
検索方法の説明
ひまわりの正規表現について(
授業資料/Himawariの正規表現
)
ふりがなの検索
↑
04/25 テキストエディタと正規表現
†
↑
grepと置換でKWIC(CSVファイル)を作る(簡易版)
†
CSVファイルとは:テキストファイルで表を表現する
用語:CSVファイル
KWIC:KeyWord In Context
↑
正規表現とは
†
正規表現
>用語
文字を表すための特殊な文字(メタ文字)を使って文字列のパターンを表現する
テキストエディタでは置換・検索・grepで利用できる (エディタ以外にもさまざまなアプリケ-ションやコンピュータ言語で利用されている)
特殊な文字(メタ文字)はすべて半角
↑
正規表現のいろいろ
†
授業資料/正規表現
文字クラス [ ]
文字クラスの否定(補集合)[^ ]
繰り返し ? + *
グループ化 ()
or(論理和) |
文頭 ^、文末 $
↑
正規表現の応用
†
カタカナ語
カタカナ(外来語)の形容動詞語幹
送りがなの揺れ(行う/行なう)
会話文中("「"で始まる文中)の用例を検索する
同一文中での共起
全然~ない。
もし~なら(ば)
↑
04/18 テキストデータと文字コード
†
↑
文字コード
†
授業資料/文字コード関連リンク
↑
テキストデータ
†
すべての基本となる文字が並ぶだけのデータ
授業資料/テキストデータとは
バイナリデータとテキストデータ
テキストデータとテキストファイル
TXT,CSV,HTM…
ファイルの種類と拡張子 参考:
拡張子辞典
拡張子(wikipedia)
授業で使うテキストデータ
授業資料/テキストデータ紹介
↑
テキストエディタ
†
テキストエディタとはどんなものか
授業資料/テキストエディタ
↑
テキストエディタのダウンロードとインストール
†
フリーソフトウェア(無償)のMicrosoft
Visual Studio Code
(VSCode)を使います。
↑
インストールと最初の設定
†
VS Codeのインストール
WindowsのスタートメニューからMicrosoft Storeを起動
VSCodeを検索
インストール をクリック
または
ブラウザで
https://code.visualstudio.com/
へ
Download for Windowsをクリック
~.exeをダブルクリックして指示に従う
最初の設定
拡張機能 Japanese Language Packの追加
参考:
https://zenn.dev/ayatokura/articles/vscode-article-2
ファイルオープン時にエンコーディングを自動判別するよう設定
参考:
https://www.javadrive.jp/vscode/setting/index3.html
↑
テキストエディタを使ってみる
†
テキストエディタの設定
行の折り返し Alt+Z
行番号表示
スタイル行番号(ワープロ的行番号)と論理行番号(エディタ的行番号)
練習用サンプルデータ(漱石 こころ.txt)
sample.zip
検索・置換、grep
検索で初出行を調べる
置換で用例数を数える
grepで用例リストを作る
タグジャンプで文脈を確認する
↑
ショートカットキー
†
Windowsの主なショートカットキー
授業資料/覚えておきたいショートカットキー
Macのショートカットキー
https://support.apple.com/ja-jp/HT201236
↑
テキストデータ(青空文庫の夏目漱石作品)の配布
†
★
soseki2.zip
(今日の授業で使います)
↑
正規表現を使ってみる
†
文字クラス
例:読[まみむめもん]
半角ブラケットの中に文字を並べる→並べた文字いずれか1文字
↑
参考
†
授業資料/テキストエディタと正規表現
↑
USBメモリの準備について
†
↑
04/11 イントロダクション
†
自己紹介
大学共同利用機関法人人間文化研究機構 国立国語研究所
https://www.ninjal.ac.jp/
言語資源開発センター
シラバス確認
この授業の
シラバス
この授業の目的
授業の進め方
評価方法
↑
授業で利用する主なソフトウェア
†
ソフトウェアの種類・名前
利用目的
テキストエディタ
サクラエディタ
or
VisualStudio Code
テキストデータの作成・整備、正規表現を使った検索など
全文検索ソフト
ひまわり
データの検索
表計算ソフト
Excel
ピボットテーブルによる分析・グラフ作成
ワープロ
Word
文書構造を意識したレポート作成
↑
授業で利用する主なデータ
†
青空文庫
の近代の小説
国立国語研究所のコーパス
「現代日本語書き言葉均衡コーパス」
「日本語日常会話」
「昭和・平成書き言葉コーパス」
「日本語歴史コーパス」
↑
デモ
†
テキストエディタとgrep, 正規表現
全文検索システム
ひまわり
Excel(ピボットテーブル)
形態素解析:
Web茶まめ
現代語コーパス
少納言
*1
LEFTのような関数名は小文字でも構わないが、記号も含め、必ず半角
*2
VSCodeでは$1、サクラエディタなどでは\1でもいい
*3
後方指定ではVSCodeも\1