成蹊2019/日本語日本文学のためのコンピュータ
Top
/
成蹊2019
/
日本語日本文学のためのコンピュータ
成蹊2019
期末レポートについて
†
締切:1月31日(金)
提出先:成蹊PORTALまたはメールで提出
分量:A4用紙で3~10枚
メールで送る場合はメール本文とWordファイルの両方に氏名・学籍番号を明記すること
Wordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ってください
mailto: ogiso◎ogiso.net (←◎を@に)
↑
2020/01/17 (最終回)レポートの完成へ / Wordでレポートを書く
†
↑
レポートテーマ中間報告発表(ライトニングトーク)残り
†
↑
レポートの作成と質問
†
レポート完成に向けて作業を進めてください。
個別に見て回ります。積極的に質問してください。
↑
Wordでレポートを書く
†
文書の構造化とWordの使い方(レポートの書き方)
文書の構造化*
スタイルと見出し
ナビゲーション ウィンドウ(見出しマップ)の使い方
章・節番号
図表の貼り込み*
「形式を選択して貼り付け」
図表番号とキャプション
脚注
脚注と文末脚注
相互参照
節番号、図表番号と相互参照
目次、図表目次
ページ番号*
PDFとして保存(ブックマークを付加)*
↑
レポートの構成
†
IMRAD
↑
2020/1/10 レポートテーマ中間報告LT
†
↑
レポートテーマ中間報告発表(ライトニングトーク)
†
パワーポイントファイルをCoursePowerに提出してください。
↑
レポートテーマに関する調査
†
各自のレポートテーマについて調査してください。
個別に見て回ります。積極的に質問してください。
↑
2019/12/21(補講) レポートテーマの選定と調査
†
↑
レポートテーマの選定と調査
†
各自のレポートテーマについて調査してください。
個別に見て回ります。積極的に質問してください。
テーマとする語について、最低限『日本国語大辞典』等のしっかりした辞典にあたっておくこと。
パソコン・ネットだけでは十分な調査はできません。図書館を利用してください。(参考文献は明記すること)
↑
ライトニングトークに向けたスライド作成
†
次回(1月10日)発表
↑
調整頻度の計算
†
粗頻度を総語数で割る
レジスターごとの語数データ:中納言ページの「語数について」からExcelでダウンロードできる
語数ファイルをピボットテーブルで集計して分母に
調整頻度には100万語あたりの頻度(pmw)が比較的よく使われる
粗頻度/コーパス総語数*1000000
数字が小さくなりすぎないようにするため
※割合の違いを比較するだけなら調整頻度を出す必要はない。
※ひまわりの検索結果でも同じことだが、その場合は語数の代わりに文字数で代用する。
↑
2019/12/20 CHJ中納言の使い方
†
↑
レポートテーマ予備調査結果発表(ライトニングトーク)について
†
1月10日
一人数分、スライド数枚で発表
↑
「中納言」の利用:形態論情報を使った検索
†
配布資料「『中納言』の使い方」
CoursePower参照
コーパス検索アプリケーション「中納言」
↑
形態論情報を使った検索
†
まずは文字列検索で確認する
↑
品詞体系と見出し語の階層
†
BCCWJ,CHJはUniDicの品詞体系にもとづく
授業資料/UniDicの品詞体系
授業資料/UniDicの見出し語階層
↑
「中納言」検索結果のダウンロードとExcelでの利用
†
ダウンロード
Excelでインポート
↑
2019/12/13 Himawari+Excelの復習 / 中納言
†
↑
レポートテーマの確認(1)
†
パソコン・ネットだけでは十分な調査はできません。図書館を利用してください。(参考文献は明記すること)
最低限『日本国語大辞典』等のしっかりした辞典にあたっておくこと。
↑
Himawari+Excelの復習
†
例:「~的な」「~的の」
二字漢語+的な/の の通時的変化
↑
「中納言」の紹介
†
↑
2019/12/06 検索結果のExcelによる集計(2)
†
必ずHimawariを入れたUSBメモリを持ってくること
↑
課題(復習)
†
Course Powerレポート:Himawari検索&Excelピボットテーブル課題 授業時に作成したHimawari+青空文庫パッケージを使って、「心持」と「気持」を検索し、検索結果にExcel上で作家の生年代を付与したうえで、ピボットテーブルで集計して、生年代別に「心持」「気持」の用例数を示す表と使用割合を示すグラフを作成しなさい。作成したピボットテーブル・グラフを含むExcelファイルを提出すること。
↑
分類用の列を作って集計する
†
入力用の列を作り手作業で意味分類する
例:「新聞紙」の意味・用法の変化
↑
サンプリング調査
†
大量に用例があり、調査内容からすべて対象にできない場合
ランダムに並べ替え→先頭n例を調査対象に
ランダムな数字の列: =RAND()
ランダムな数字の列をコピーして値として貼り付けると数字が固定される
↑
レポートテーマについて(予告)
†
授業で紹介したエディタやひまわり、中納言、表計算ソフトの使い方を活かして、たとえば次のようなテーマでレポートをまとめてもらいます。データは授業で配布・紹介したものを自由に利用してください。
例:作家ごとの言葉の使い方の違い
例:類義語の意味の違い
例:語の用法の変化
例:語形・(表記)のゆれ
などなど
↑
2019/11/29 検索結果のExcelによる集計
†
↑
Excelの基本操作(再)
†
並べ替え(ソート)
フィルター(絞り込み)
テキストフィルター
多重フィルター(複数の条件指定)
ピボットテーブル★
ピボットグラフ
↑
ひまわり検索結果をExcelで扱う
†
ピボットテーブルとピボットグラフ
例:「それきり」「それぎり」
sorekiri.xlsx
↑
生年代による集計(通時的変化)
†
文字列処理関数の利用
例: =left(<文字列>,<文字数>)
生年代: =left(<生年月日が入っているセル>,3)*10
生年月日データの書式について
「青空文庫」の生年月日が書式の自動変換でおかしくなるのを防ぐ
1900年以前の年月日は文字列、それ以降は日付として認識される
Himawariで「すべて選択」後、「すべて選択」「コピー(列名含む)」をする
Excelで生年月日の列が貼り付けられることになる列(NとO)を丸ごと選択し、書式を「文字列」とする
Excelに貼り付ける
↑
2019/11/22 (欅祭で休み)
†
↑
2019/11/15 全文検索システム「ひまわり」
†
↑
正規表現小テスト
†
↑
「ひまわり」とその使い方
†
ひまわりの動作確認
検索方法の説明
ひまわりの正規表現について(
授業資料/Himawariの正規表現
)
ふりがなの検索
↑
ひまわり検索結果をExcelで扱う
†
例:
「気持ち」「心持ち」
↑
Excelの基本操作
†
並べ替え(ソート)
フィルター(絞り込み)
テキストフィルター
多重フィルター(複数の条件指定)
ピボットテーブル★
ピボットグラフ
↑
2019/11/8休講
†
↑
2019/10/31 やや高度な正規表現(復習)/全文検索システム「ひまわり」の導入
†
補講について
予定:12月21日(土)
↑
検索文字列の中での後方参照(復習)
†
検索語の中で\1を使う
(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
(..)\1\1
(...)\1
(参考)タグ付き正規表現の応用:
grepと置換でKWICを作る
↑
振り仮名の修正
†
授業資料/タグつき正規表現
参考資料:
https://www.aozora.gr.jp/cards/000879/card16.html#download
↑
全文検索システム「ひまわり」
†
↑
全文検索システム「ひまわり」について
†
全文検索システム「ひまわり」
ただのテキストファイル(プレーンテキスト)ではなく、XML形式にして、インデックスを付けた専用のデータを利用
ひまわり のダウンロードページ
プログラム本体
↑
「青空文庫パッケージ」のインストール
†
青空文庫パッケージのダウンロード
ひまわり用「青空文庫」パッケージのダウンロードページ
から「青空文庫パッケージ」をUSBメモリに直接ダウンロードして保存(サイズが大きいのでPCにダウンロードできない)
USBメモリにコピーしたフォルダ内のhimawari.exeを起動
Himawari画面上にダウンロードしたzipファイルをドラッグ&ドロップ
*1
しばらく待つと完了(数分から10分程度はかかる)
要らなくなったUSBメモリ上の青空文庫パッケージzipファイルは不要なので削除する
↑
2019/10/26(土)の金曜日不足分授業日は休講
†
↑
2019/10/25 正規表現
†
今日の練習用テキストデータ
soseki2.zip
(前回と同じもの)
↑
テキストエディタ・正規表現(文字クラス)の復習
†
文字クラス
例:読[まみむめもん]
↑
正規表現のいろいろ
†
授業資料/正規表現
文字クラス [ ]
文字クラスの否定(補集合)[^ ]
繰り返し ? + *
グループ化 ()
or(論理和) |
文頭 ^、文末 $
↑
正規表現の応用
†
カタカナ語
カタカナ(外来語)の形容動詞語幹
送りがなの揺れ(行う/行なう)
会話文中("「"で始まる文中)の用例を検索する
同一文中での共起
全然~ない。
もし~なら(ば)
↑
タグ付き正規表現
†
走[らりるれろ] でgrepした結果を置換するにはどうしたらいいか
次のように置換するととんでもないことに…
検索文字列:走[らりるれろっ]
置換文字列:★走[らりるれろっ]
タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)を使う
授業資料/タグつき正規表現
↑
検索文字列の中での後方参照
†
検索語の中で\1を使う
(..)\1 「ころころ」「毎日毎日」など二文字の繰り返しにマッチ
(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ
(..)\1\1
(...)\1
↑
最長一致の原則(greedy matching)
†
正規表現は、パターンが一致する最も長い範囲にマッチする
例:
あ+
→
【\1】
ああああああああ → 【ああああああああ】 そのせいで…
例:
「(.+)」
→
【\1】
「こんにちは」「さようなら」 → 【こんにちは」「さようなら】
括弧の組ごとに置換するためには
「([^」]+)」
→
【\1】
のように書かなければならない
「こんにちは」「さようなら」 → 【こんにちは】【さようなら】
よりかんたんに指定するには(最短一致,ものぐさ指定)
「(.+?)」「(.*?)」
のように、繰り返し指定の+*の後に「?」をつける
↑
正規表現に関する参考資料
†
サクラエディタの正規表現:
http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
正規表現に関する本
amazonで検索
#amazon(4873114500) #amazon(4873113598)
↑
2019/10/18 (四大戦で休み)
†
↑
2019/10/11 テキストエディタの利用
†
今回からUSBメモリを利用します。
テキストデータ(青空文庫)の配布
soseki2.zip
(今日の授業で使います)
aozoradoc2.zip
(青空文庫全テキスト・参考)
ダウンロードしてUSBメモリに展開(解凍)してください
検索・置換、grep
検索で初出行を調べる
置換で用例数を数える
grepで用例リストを作る
タグジャンプで文脈を確認する
サブフォルダのgrep
↑
ショートカットキー
†
授業資料/覚えておきたいショートカットキー
↑
grepと置換でKWIC(CSVファイル)を作る(簡易版)
†
CSVファイルとは:テキストファイルで表を表現する
用語:CSVファイル
KWIC:KeyWord In Context
↑
正規表現を使ってみる
†
文字クラス
例:読[まみむめもん]
半角ブラケットの中に文字を並べる→並べた文字いずれか1文字
↑
正規表現とは
†
正規表現
>用語
文字を表すための特殊な文字(メタ文字)を使って文字列のパターンを表現する
エディタでは置換・検索・grepで利用できる (エディタ以外にもさまざまなアプリケ-ションやコンピュータ言語で利用されている)
特殊な文字(メタ文字)はすべて半角
授業資料/正規表現
文字クラス [ ]
文字クラスの補集合(それ以外の文字)[^ ]
↑
2019/10/04 テキストデータとテキストエディタ
†
USBメモリの準備
次回の授業からUSBメモリを使います。2GB(なるべく4GB)以上の空きのあるUSBメモリを用意してください。
↑
テキストデータ
†
すべての基本、文字が並ぶだけのデータ
授業資料/テキストデータとは
バイナリファイルとテキストファイル
TXT,CSV,HTM・・・
ファイルの種類と拡張子 参考:
拡張子辞典
拡張子(wikipedia)
授業で使うテキストデータ
授業資料/テキストデータ紹介
↑
テキストエディタ
†
テキストエディタとはどんなものか
授業資料/テキストエディタ
サクラエディタのダウンロードとインストール
★
サクラエディタのダウンロード:sakura2.zip
(参考) サクラエディタホームページ:
http://sourceforge.net/projects/sakura-editor/
zipファイルの展開(解凍)
解凍しないままでも開けるが必ず解凍すること
テキストエディタの設定
行の折り返し
行番号表示
スタイル行番号(ワープロ的行番号)と論理行番号(エディタ的行番号)
練習用サンプルデータ(漱石+芥川)
sample.zip
検索・置換、grep
検索で初出行を調べる
置換で用例数を数える
grepで用例リストを作る
タグジャンプで文脈を確認する
サブフォルダのgrep
↑
2019/09/27
†
↑
イントロダクション
†
自己紹介
大学共同利用機関法人人間文化研究機構 国立国語研究所
http://www.ninjal.ac.jp/
コーパス開発センター
デモ
テキストエディタとgrep
全文検索システム
ひまわり
Excel(ピボットテーブル)
形態素解析:
Web茶まめ
シラバス確認
シラバス
(PDF)
この授業の目的
授業の進め方
評価方法
↑
授業で利用する主なソフトウェア
†
ソフトウェアの種類・名前
利用目的
テキストエディタ
サクラエディタ
正規表現を使ったテキストの検索・整形
全文検索ソフト
ひまわり
データの検索
表計算ソフト
Excel
ピボットテーブルによる分析・グラフ作成
ワープロ
Word
「スタイル」を利用したレポート作成
アンケート
↑
2019/09/20
†
初回ですが,海外出張のため休講です。
OGISO.NET
自己紹介
OGISO.NET mail
Private
最新の10件
2024-10-04
成蹊2024/日本語学講義D
2024-09-29
自己紹介
2024-09-26
授業資料/対数尤度比による特徴語抽出
2024-07-18
成蹊2024/応用日本語講座
2024-07-13
授業資料/コロケーション強度
2024-07-12
学習院2024
2024-06-28
授業資料/VLOOKUP関数
2024-06-24
総研大2024/言語資源学
2024-05-17
授業資料/正規表現
2012-05-07
RecentDeleted
*1
または、メニューのファイル>インストールをえらび、青空文庫パッケージのzipファイルを指定
Last-modified: 2020-01-17 (金) 11:56:28