成蹊2018/日本語日本文学のためのコンピュータ
の履歴(No.12)
履歴一覧
差分
を表示
現在との差分
を表示
ソース
を表示
成蹊2018/日本語日本文学のためのコンピュータ
へ行く。
1 (2018-09-21 (金) 07:24:29)
2 (2018-09-21 (金) 07:25:10)
3 (2018-09-28 (金) 08:51:59)
4 (2018-10-04 (木) 22:33:56)
5 (2018-10-10 (水) 21:30:31)
6 (2018-10-10 (水) 21:30:31)
7 (2018-10-24 (水) 06:33:57)
8 (2018-10-26 (金) 05:40:22)
9 (2018-10-26 (金) 10:49:27)
10 (2018-11-01 (木) 22:50:16)
11 (2018-11-07 (水) 14:54:07)
12 (2018-11-08 (木) 23:01:42)
13 (2018-11-15 (木) 10:49:25)
14 (2018-11-16 (金) 10:54:58)
15 (2018-11-29 (木) 20:49:58)
16 (2018-12-06 (木) 23:25:21)
17 (2018-12-13 (木) 17:48:09)
18 (2018-12-14 (金) 12:16:12)
19 (2018-12-21 (金) 06:28:23)
20 (2019-01-11 (金) 09:09:39)
成蹊2018
日本語学・日本文学を研究していく上で必要なコンピュータの知識・技術(テキストエディタ・正規表現・表計算ソフト・文書の構造化)を学びます。
後期2限
7号館3階 301パソコン教室
ogiso@ogiso.net ←@を@に直してください
日本語日本文学のためのコンピュータ
↑
2018/11/9
↑
Excelの基本操作
並べ替え(ソート)
フィルター(絞り込み)
テキストフィルター
多重フィルター(複数の条件指定)
ピボットテーブル★
ピボットグラフ
↑
ひまわり検索結果をExcelで扱う
†
ピボットテーブルとピボットグラフ
例:「それきり」「それぎり」
例:「~的な」「~的の」
※「目的」「標的」などをフィルタで除去
↑
生年代による集計(通時的変化)
文字列処理関数の利用
例: =left(<文字列>,<文字数>)
生年代: =left(<生年月日が入っているセル>,3)*10
生年月日データの書式について
「青空文庫」の生年月日が書式の自動変換でおかしくなるのを防ぐ
1900年以前の年月日は文字列、それ以降は日付として認識される
Himawariで「すべて選択」後、「すべて選択」「コピー(列名含む)」をする
Excelで生年月日の列が貼り付けられることになる列(NとO)を丸ごと選択し、書式を「文字列」とする
Excelに貼り付ける
↑
分類用の列を作って集計する
入力用の列を作り手作業で意味分類する
例:「新聞紙」の意味・用法の変化
file:
ダウンロード
↑
サンプリング調査
大量に用例があり、調査内容からすべて対象にできない場合
ランダムに並べ替え→先頭n例を調査対象に
ランダムな数字の列: =RAND()
ランダムな数字の列をコピーして値として貼り付けると数字が固定される
↑
2018/11/2
27日分検索課題(seikei portal)について
正規表現小テスト
↑
「青空文庫パッケージ」のインストール
青空文庫パッケージのダウンロード
ひまわり用「青空文庫」パッケージのダウンロードページ
から「青空文庫パッケージ」をUSBメモリに直接ダウンロードして保存(サイズが大きいのでPCにダウンロードできない)
USBメモリにコピーしたフォルダ内のhimawari.exeを起動
Himawari画面上にドラッグ&ドロップ
*1
しばらく待つと完了(数分から10分程度はかかる)
要らなくなったUSBメモリ上の青空文庫パッケージzipファイルは不要なので削除する
↑
「ひまわり」とその使い方
ひまわりの動作確認
検索方法の説明
ひまわりの正規表現について(
授業資料/Himawariの正規表現
)
↑
ひまわり検索結果をExcelで扱う
†
例:
「気持ち」「心持ち」
↑
2018/10/27(金曜授業実施日) 休講
課題:SEIKEI Portalにて
↑
2018/10/26
↑
検索文字列の中での後方参照(復習)
検索語の中で\1を使う
(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
(..)\1\1
(...)\1
↑
最長一致の原則(greedy matching)
†
正規表現は、パターンが一致する最も長い範囲にマッチする
例:
あ+
→
【\1】
ああああああああ → 【ああああああああ】 そのせいで…
例:
「(.+)」
→
【\1】
「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
括弧の組ごとに置換するためには
「([^」]+)」
→
【\1】
のように書かなければならない
「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
よりかんたんに指定するには(最短一致,ものぐさ指定)
「(.+?)」「(.*?)」
のように、繰り返し指定の+*の後に「?」をつける
↑
正規表現に関する参考資料
†
サクラエディタの正規表現:
http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
正規表現に関する本
amazonで検索
#amazon(4873114500) #amazon(4873113598)
(参考)タグ付き正規表現の応用:
grepと置換でKWICを作る
↑
全文検索システム「ひまわり」について
全文検索システム「ひまわり」
ただのテキストファイル(プレーンテキスト)ではなく、XML形式にして、インデックスを付けた専用のデータを利用
ひまわり のダウンロードページ
プログラム本体
ひまわり用「青空文庫TOP100」パッケージ
検索対象のデータセット(お試し用小サイズデータ)
↑
「ひまわり」の導入
動作確認
↑
正規表現小テスト
↑
2018/10/12 正規表現
今日の練習用テキストデータ
soseki2.zip
(前回と同じもの)
↑
テキストエディタ・正規表現(文字クラス)の復習
文字クラス
例:読[まみむめもん]
↑
正規表現のいろいろ
†
授業資料/正規表現
文字クラス [ ]
文字クラスの否定(補集合)[^ ]
繰り返し ? + *
グループ化 ()
or(論理和) |
文頭 ^、文末 $
↑
正規表現の応用
†
カタカナ語
カタカナ(外来語)の形容動詞語幹
送りがなの揺れ(行う/行なう)
会話文中("「"で始まる文中)の用例を検索する
同一文中での共起
全然~ない。
もし~なら(ば)
↑
タグ付き正規表現
走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
次のように置換するととんでもないことに…
検索文字列:走[らりるれろっ]
置換文字列:★走[らりるれろっ]
タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)を使う
授業資料/タグつき正規表現
↑
検索文字列の中での後方参照
†
検索語の中で\1を使う
(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
↑
2018/10/05 テキストエディタの利用
今回からUSBメモリを利用します。
テキストデータ(青空文庫)の配布
soseki2.zip
(今日の授業で使います)
aozoradoc2.zip
(青空文庫全テキスト・参考)
ダウンロードしてUSBメモリに展開(解凍)してください
検索・置換、grep
検索で初出行を調べる
置換で用例数を数える
grepで用例リストを作る
タグジャンプで文脈を確認する
サブフォルダのgrep
↑
ショートカットキー
†
授業資料/覚えておきたいショートカットキー
↑
grepと置換でKWIC(CSVファイル)を作る(簡易版)
†
CSVファイルとは:テキストファイルで表を表現する
用語:CSVファイル
KWIC:KeyWord In Context
↑
正規表現を使ってみる
†
文字クラス
例:読[まみむめもん]
半角ブラケットの中に文字を並べる→並べた文字いずれか1文字
↑
正規表現とは
†
正規表現
>用語
文字を表すための特殊な文字(メタ文字)を使って文字列のパターンを表現する
エディタでは置換・検索・grepで利用できる (エディタ以外にもさまざまなアプリケ-ションやコンピュータ言語で利用されている)
特殊な文字(メタ文字)はすべて半角
授業資料/正規表現
文字クラス [ ]
文字クラスの補集合(それ以外の文字)[^ ]
↑
2018/09/28 テキストデータとテキストエディタ
USBメモリの準備
次回の授業からUSBメモリを使います。2GB(できれば4GB)以上の空きのあるUSBメモリを用意してください。
↑
テキストデータ
すべての基本、文字が並ぶだけのデータ
授業資料/テキストデータとは
バイナリファイルとテキストファイル
TXT,CSV,HTM・・・
ファイルの種類と拡張子 参考:
拡張子辞典
拡張子(wikipedia)
授業で使うテキストデータ
授業資料/テキストデータ紹介
↑
テキストエディタ
†
テキストエディタとはどんなものか
授業資料/テキストエディタ
サクラエディタのダウンロードとインストール
★
サクラエディタのダウンロード:sakura2.zip
(参考) サクラエディタホームページ:
http://sourceforge.net/projects/sakura-editor/
zipファイルの展開(解凍)
解凍しないままでも開けるが必ず解凍すること
テキストエディタの設定
行の折り返し
行番号表示
スタイル行番号(ワープロ的行番号)と論理行番号(エディタ的行番号)
練習用サンプルデータ(漱石+芥川)
sample.zip
検索・置換、grep
検索で初出行を調べる
置換で用例数を数える
grepで用例リストを作る
タグジャンプで文脈を確認する
サブフォルダのgrep
↑
2018/09/21
↑
イントロダクション
自己紹介
大学共同利用機関法人人間文化研究機構 国立国語研究所
http://www.ninjal.ac.jp/
コーパス開発センター
デモ
テキストエディタとgrep
全文検索システム
ひまわり
Excel(ピボットテーブル)
形態素解析:
Web茶まめ
シラバス確認
シラバス
(PDF)
この授業の目的
授業の進め方
評価方法
↑
授業で利用する主なソフトウェア
†
ソフトウェアの種類・名前
利用目的
テキストエディタ
サクラエディタ
正規表現を使ったテキストの検索・整形
全文検索ソフト
ひまわり
データの検索
表計算ソフト
Excel
ピボットテーブルによる分析・グラフ作成
ワープロ
Word
「スタイル」を利用したレポート作成
アンケート
*1
または、メニューのファイル>インストールをえらび、青空文庫パッケージのzipファイルを指定