日本語学講義(I) 日本語コーパス研究入門†
【重要】BCCWJモニター公開データを申し込んでください。†
持ち帰り用データ†
- 授業フォルダの「持ち帰り用」フォルダ内にある「ひまわり」のデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。
5/6:休講
4/29:祝日
- 次の授業まで間が空きますので、次の資料を読み、なるべく実際に試して予習しておいてください。
第3回 2009/04/22 テキストエディタの利用†
復習
- 検索で初出行を調べる
- 置換で用例数を数える
- grepとタグジャンプ
grepと置換でKWIC(CSVファイル)を作る†
- grep結果の保存
- grep結果の置換による整形
- CSVファイルとは:テキストファイルで表を表現する
用語:CSVファイル
- KWICとは:KeyWord In Context
ショートカットキー†
おすすめテキストエディタ†
正規表現とは†
- 正規表現 >用語
- 文字を表すための特殊な文字(メタ文字)
- 置換・検索・grepで利用できる
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする(特殊な意味を打ち消す) 例:1\+2
- 文字クラス [ ]
- 文字クラスの否定(補集合)[^ ]
(つづく)
第2回 2009/04/15 テキストデータとテキストエディタ
最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。
(補足)「コーパス」について†
この授業ではBCCWJ(モニター公開版)のほかに、青空文庫・国会会議録などの広義のコーパス、自作のミニコーパスなども取り扱います。
- 狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
- Kotonoha (BCCWJ / CSJ / 太陽コーパス)
- 広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
- さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
- Webデータ
- 検索サイトの利用
- WAC(Web as Corpus)
テキストデータ†
全ての基本。テキストデータ≒テキストファイル≒電子化テキスト
#amazon(4894762994)
テキストファイルと拡張子†
テキストエディタ†
テキストエディタの基礎†
- スタイル行番号(ワープロ的行番号)と論理行番号(エディタ的行番号)
- 検索と置換、grep
2010/04/08 イントロダクション†
- 授業の進め方について
- 受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。
- シラバス確認
授業で利用する主なソフトウェア†
このほかにWeb上で利用できるサービスも取り上げます。