2019清泉女子大学 集中講義 †
9月2日(月) †
第1回 イントロダクション †
授業内容の紹介 †
授業で利用する主なソフトウェア・Webアプリケーション †
デモ †
- テキストエディタとgrep
- 全文検索システムひまわり
シラバス確認 †
受講者アンケート †
国語研のコーパス利用申し込み（「中納言」） †
第2回 電子化テキストとテキストエディタ †
テキストデータとは †
- すべての基本、文字が並ぶだけのデータ
- TXT,CSV,HTM・・・
テキストエディタ †
準備 †
- テキストエディタの設定
- 行の折り返し
- 行番号表示
- スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
テキストエディタの基本 †
- 検索・置換、grep
- 検索で初出行を調べる
- 置換で用例数を数える
- grepで用例リストを作る
- タグジャンプで文脈を確認する
- サブフォルダのgrep
ショートカットキー †
grepと置換でKWIC(CSVファイル)を作る（簡易版） †
- CSVファイルとは：テキストファイルで表を表現する
用語：CSVファイル
- KWIC：KeyWord In Context
第3回 テキストエディタと正規表現 †
正規表現を使ってみる †
- 文字クラス
- 例：読[まみむめもん]
- 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字
正規表現とは †
- 正規表現 ＞用語
- 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
- エディタでは置換・検索・grepで利用できる （エディタ以外にもさまざまなアプリケ−ションやコンピュータ言語で利用されている）
- 特殊な文字（メタ文字）はすべて半角
正規表現のいろいろ †
- 授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $
「ひまわり」データを持ち帰りたい人（特に近代文学に関心のある人）は明日、USBメモリ（空き２GB）を持ってきてください。
9月3日(火) †
「中納言」申し込み状況の確認 †
前回補足 †
正規表現の応用 †
- カタカナ語
- 送りがなの揺れ（行う／行なう）
- 会話文中（"「"で始まる文中）の用例を検索する
- 同一文中での共起
青空文庫のテキストデータ（全） †
第4回 タグ付き正規表現 †
タグ付き正規表現とは †
- 走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
- 検索文字列：走[らりるれろっ]
- 置換文字列：★走[らりるれろっ]
- タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
- 授業資料/タグつき正規表現
検索文字列の中での後方参照 †
- 検索語の中で\1を使う
- (..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
- (.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
最長一致の原則（greedy matching） †
- 正規表現は、パターンが一致する最も長い範囲にマッチする
- 例：あ+ → 【\1】
- ああああああああ → 【ああああああああ】
そのせいで…
- 例：「(.+)」 → 【\1】
- 「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
- 括弧の組ごとに置換するためには「([^」]+)」 → 【\1】 のように書かなければならない
- 「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
- よりかんたんに指定するには（最短一致，ものぐさ指定）
- 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける
正規表現に関する参考資料 †
#amazon(4873114500)
#amazon(4873113598)
第5回 全文検索ソフト「ひまわり」 †
全文検索システム「ひまわり」について †
「ひまわり」と「青空文庫パッケージ」のインストール †
- ひまわり本体のダウンロード
- ひまわり のダウンロードページからプログラム本体をダウンロード
- ダウンロードしたファイルのセキュリティブロックを解除
- 解凍後、フォルダごとUSBメモリにコピー
- 青空文庫パッケージのダウンロード
- ひまわり用「青空文庫」パッケージのダウンロードページから「青空文庫パッケージ」をUSBメモリに直接ダウンロードして保存（サイズが大きいのでPCにダウンロードできない）
- USBメモリにコピーしたフォルダ内のhimawari.exeを起動
- メニューのファイル＞インストールをえらび、青空文庫パッケージのzipファイルを指定
- しばらく待つと完了（数分から10分程度はかかる）
- 要らなくなったファイルの削除
- PC上の「ひまわり」フォルダやzipファイル、USBの青空文庫パッケージzipファイルは不要なので削除する
「ひまわり」の使い方 †
第6回 Excelによる検索結果の集計(ピボットテーブル） †
ひまわりの検索結果をExcelに †
- 検索結果のコピー
- すべて選択＞コピー（列名を含む）
- Excelを起動して貼り付け
Excelの基本操作 †
- 並べ替え（ソート）
- フィルター（絞り込み）
- テキストフィルター
- 多重フィルター（複数の条件指定）
- ピボットテーブル★
ひまわり検索結果をExcelで扱う †
- ピボットテーブルとピボットグラフ
- 例：「気持ち」「心持ち」
- 例：「それきり」「それぎり」
- 例：「〜的な」「〜的の」
生年代による集計（通時的変化） †
- 文字列処理関数の利用
- 例： =left(<文字列>,<文字数>)
- 生年代： =left(<生年月日が入っているセル>,3)*10
- 生年月日データの書式について
- 「青空文庫」の生年月日が書式の自動変換でおかしくなるのを防ぐ
- 1900年以前の年月日は文字列、それ以降は日付として認識される
- Himawariで「すべて選択」後、「すべて選択」「コピー（列名含む）」をする
- 新しいExcelのシートで生年月日の列が貼り付けられることになる列（NとO）を丸ごと選択し、書式を「文字列」とする
- Excelに貼り付ける
分類用の列を作って集計する †
サンプリング調査 †
- 大量に用例があり、調査内容からすべて対象にできない場合
- ランダムに並べ替え→先頭n例を調査対象に
- ランダムな数字の列： =RAND()
- ランダムな数字の列をコピーして値として貼り付けると数字が固定される
ひまわりで利用可能なデータについて †
- 現代語のデータ
- 近代語のデータ
- 太陽コーパス
- 近代女性雑誌コーパス
- 明六雑誌コーパス
- 国定高等小学読本
- 古典文学作品のデータ
9月9日(月) †
第7回 日本語コーパスの紹介 †
資料配布（「中納言」の使い方，「中納言」による検索）：明日以降も必ず持ってきてください。
コーパスとは †
- 狭義のコーパス
- 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- 広義のコーパス
- コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
「現代日本語書き言葉均衡コーパス」（BCCWJ）の構成とサンプリング †
- （スライド参照） コーパスの設計とサンプリング
- 均衡コーパス（Balanced corpus）
- 「バランスがとれている」「代表性」とは？
- コーパスの母集団の設定とサンプリング
- BCCWJのサブコーパス
- 可変長と固定長
- 著作権をめぐる問題
「日本語歴史コーパス」（CHJ）の構成 †
第8回 Web版コーパス検索ツールの利用（1） †
BCCWJ, CHJの検索ツール †
- BCCWJ少納言
- 中納言(BCCWJ, CHJほか)
- 要登録
- 形態論情報を使った検索
- 全件（一度に最大10万例まで）ダウンロード可
コーパスの形態論情報：短単位と長単位 †
品詞体系と見出し語の階層 †
- BCCWJ,CHJはUniDicの品詞体系にもとづく
第9回 Web版コーパス検索ツールの利用（2） †
「中納言」の利用 †
形態論情報を使った検索のまえに †
レポートテーマについて †
9月10日(火) †
第10回 Web版コーパス検索ツールの利用（3） †
形態論情報を使った検索 †
検索条件式の利用 †
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"
第11回 検索結果の集計と分析 †
「中納言」検索結果のダウンロードとExcelでの利用 †
Excelの基礎ふたたび（略） †
- 並べ替え
- フィルタ
- ピボットテーブル
- ピボットグラフ
複数の検索結果の結合 †
ショートカットキーを活用すると便利
- Ctrl+End ファイルの末尾/表のいちばん右下に移動
- Shift+Ctrl+End 〃範囲を選択
- 表をコピー
- Ctrl+Home, ↓（列名はコピーしないようにする）,Shift+Ctrl+End, Ctrl+C
- コピーした表を既存の表の下に貼り付け
- Ctrl+↓, ↓, Ctrl+V, Ctrl+Home
集計用の列を自分で用意する †
- 例：表記（ひらがな・かたかな・漢字）別集計
- 例：用法分類
「検索課題」 †
第12回 レポートテーマ探索と調査 †
- 普段から見聞きする言葉に気をつけるとともに、図書館も活用すること
- ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく
（現代語の場合）
表記 †
- 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
- 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？文体差？
- 「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ
類義語・対義語 †
- 「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い）
- 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
- 「男性」と「女性」（「男」と「女」）・・・語彙の非対称性、社会言語学的分析
語形、語法 †
- 「好ましい」「好もしい」・・・語形の揺れと文体差
- 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件
新語・意味変化 †
- 「断トツ」「定番」「夜ご飯」・・・新語の広がり
- 「役不足」「確信犯」・・・”誤用”と”正用”
検索の例 †
明日までにレポートテーマを考えてくること。
9月11日(水) †
第13回 データの加工と集計 (Excel) †
出現サンプル数の調査（重複の削除） †
用例数ではなく、用例が一つでも出現したサンプル（作品）の数を調べたい場合
- たとえば一人称代名詞など、サンプル毎に偏って多数現れる語の調査
「データ」→「重複の削除」
Excelの文字列関数とIF関数 †
- 例：ジャンル（NDC）の整理
- 先頭の文字を取り出す（NDCの一次区分（＝類））
- スラッシュで区切られた最初の部分（ジャンルの大分類）
- =LEFT(ジャンルのセル,SEARCH("/",ジャンルのセル)-1)
- 集計用に用意した列で文字列処理関数を利用する
- LEFT
- RIGHT
- MID
- LEN
- SEARCH
- SUBSTITUTE
- 応用例：品詞の大分類を使う
- =IFERROR(LEFT(品詞,SEARCH("-",品詞)-1),品詞)
ランダムサンプリング調査(Excelでの集計)ふたたび †
- 大量に用例があり、調査内容からすべて対象にできない場合
- ランダムに並べ替え→先頭n例を調査対象に
- ランダムな数字の列： =RAND()
- ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される
BCCWJ利用の落とし穴 †
- BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
- レジスターによって母集団の年が違っている
- 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ
- もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
- cf.人口あたりの事故件数，１平方キロあたりの…etc.
調整頻度の計算 †
- 粗頻度を総語数で割る
- レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
- 調整頻度には100万語あたりの頻度（pmw）が比較的よく使われる
- ※割合の違いを比較するだけなら調整頻度を出す必要はない。
発展(Excelの活用) †
第14回 レポートテーマの確認と調査 †
レポートテーマに関する調査と質問対応 †
- 考えてきたテーマについて、実際に用例を検索してレポート作成を進めます。
- 積極的に質問して下さい。
第15回 Wordでレポートを書く（文書の構造化） †
Wordを使ってレポートを書く †
- 図表の取り扱い
- 「形式を選択して貼り付け」
- 図表番号、キャプション
- 文書の構造化
- 章・節番号
- 「スタイル」「ナビゲーション ウィンドウ」（見出しマップ）の活用
- 図表番号と相互参照
レポートテーマに関する調査と質問対応 †
- 考えてきたテーマについて、実際に用例を検索してレポート作成を進めます。
- 積極的に質問して下さい。
レポート提出について †
授業で紹介したコーパス・データとコンピュータの技術を用いて、言葉の用例に基づく（実証的な）調査結果と考察をまとめなさい。時代・分野は問いません。
- 「学びの泉」で期限までに提出してください。
- 分量：A4用紙で3〜10枚（4枚以上を推奨）
- ファイルに氏名・学籍番号を明記すること。
- Wordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ってください。
10月31日 締め切り
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
