成蹊2012/日本語日本文学のためのコンピュータの履歴(No.8) - OGI-Wiki

日本語・日本文学を学んでいくうえでぜひ身につけておきたいコンピュータに関する知識・技術を学びます。
後期・金曜4限

ogiso＠ogiso.net

2012/10/19　正規表現の応用

正規表現のいろいろ（つづき）

授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $

正規表現の応用†

カタカナ語
送りがなの揺れ（行う／行なう）
全然～ない。
会話文中（「で始まる）

授業資料/正規表現
- 会話文中（"「"で始まる文中）の用例を検索する
- 同一文中での共起

タグ付き正規表現

走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
- 次のように置換するととんでもないことに…
  - 検索文字列：走[らりるれろ]
  - 置換文字列：★走[らりるれろ]
タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
授業資料/タグつき正規表現

タグ付き正規表現の応用

（参考）タグ付き正規表現の応用：grepと置換でKWICを作る

最長一致の原則（greedy matching）†

正規表現は、パターンが一致する最も長い範囲にマッチする
- 例：「(.+)」 → 【\1】
  - 「こんにちは」「さようなら」 →　【こんにちは」「さようなら】
- 「([^」]+)」 → 【\1】　のように書けばよい
  - 「こんにちは」「さようなら」 →　【こんにちは】【さようなら】
最短一致を指定するには（ものぐさ指定）
- 「(.+?)」「(.*?)」のように、繰り返し指定の+*の後に「?」をつける

正規表現に関する参考資料†

サクラエディタの正規表現：http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
正規表現に関する本　amazonで検索

#amazon(4873111706) #amazon(4873113598)

2012/10/12　正規表現

テキストエディタの復習

置換で用例数を数える
grepとタグジャンプ

正規表現とは†

正規表現　＞用語
- 文字を表すための特殊な文字（メタ文字）を使って文字列のパターンを表現する
- エディタでは置換・検索・grepで利用できる　（エディタ以外にもさまざまなアプリケ－ションやコンピュータ言語で利用されている）
- 記号はすべて半角
- 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す）　例：1\+2

文字クラス [ ]
- 文字クラスの補集合（それ以外の文字）[^ ]

正規表現のいろいろ†

授業資料/正規表現
- 文字クラス [ ]
- 文字クラスの否定（補集合）[^ ]
- 繰り返し ? + *
- グループ化 ()
- or（論理和） |
- 文頭 ^、文末 $

2012/10/05　　テキストエディタの利用

テキストデータ（青空文庫）の配布
- Web Collaboration : /temporary/ogiso/aozoradoc.zip
  - ダウンロードしてUSBメモリに展開（解凍）します

検索・置換、grep
- 検索で初出行を調べる
- 置換で用例数を数える
- grepで用例リストを作る
- タグジャンプで文脈を確認する
- サブフォルダのgrep

ショートカットキー†

授業資料/覚えておきたいショートカットキー

grepと置換でKWIC(CSVファイル)を作る（簡易版）†

CSVファイルとは：テキストファイルで表を表現する用語：CSVファイル
KWIC：KeyWord In Context

正規表現を使ってみる†

キャラクタクラス
- 例：読[まみむめもん]
  - 半角ブラケットの中に文字を並べる→並べた文字いずれか1文字

2012/09/28　テキストデータとテキストエディタ

USBメモリの準備
- 次回の授業からUSBメモリを使います。2G（なるべく4G）以上の空きのあるUSBメモリを用意してください。

テキストデータ

すべての基本、文字が並ぶだけのデータ
- 授業資料/テキストデータとは
- バイナリファイルとテキストファイル
TXT,CSV,HTM・・・
- ファイルの種類と拡張子参考：拡張子辞典
- 拡張子(wikipedia)

授業で使うテキストデータ
- 授業資料/テキストデータ紹介

テキストエディタ†

テキストエディタとはどんなものか
- 授業資料/テキストエディタ

サクラエディタのダウンロードとインストール
- サクラエディタのダウンロード:sakura.zip
  - (参考) サクラエディタホームページ：http://sourceforge.net/projects/sakura-editor/

zipファイルの展開（解凍）
- 解凍しないままでも開けるが必ず解凍すること

テキストエディタの設定
- 行の折り返し
- 行番号表示
  - スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）

練習用サンプルデータ
- soseki.zip

2012/09/21

イントロダクション

自己紹介
- 大学共同利用機関法人人間文化研究機構国立国語研究所 http://www.ninjal.ac.jp/

デモ
- テキストエディタ grep
- 全文検索システムひまわり

シラバス確認
- シラバス
- この授業の目的
- 授業の進め方
- 評価方法

前期の日本語学講義Eとの違い
- できあがったコーパスを利用する（前期） vs. できるだけ自分で何とかする（後期）

授業で利用する主なソフトウェア†

ソフトウェアの種類・名前	利用目的
テキストエディタサクラエディタ sakura2	検索・整形
全文検索ソフトひまわり	検索・分析
表計算ソフトExcel	分析・グラフ作成
ワープロWord	「スタイル」を利用したレポート作成