東京外大2010/コーパスを用いた近代日本語の調査法 (1) の履歴(No.4) - OGI-Wiki

コーパスを用いた近代日本語の調査法

教室変更のお知らせ

4/23より206教室（PC教室）に変更になりました。

2010/04/23 「太陽コーパス」のプログラムとデータ形式

ディスクの中に何が入っているか

収録されているプログラム

全文検索システム「ひまわり」
- XML形式のデータの全文検索ツール
- あらかじめインデックス（suffix arrayによる）を作るので検索が高速
XMLデータを直接扱うツール
- 変換ツール「プリズム」
  - XSLTスタイルシートで形式を変換したり情報を抽出したりする
  - テキストファイルやHTMLなどに変換できる
- 検索ツール「たんぽぽ」
  - ルビを開いた検索ができる
  - XMLを直接上からなめて行くので遅いが、XMLへの修正は即座に反映される

多くの場合には「ひまわり」で利用できれば十分なので、今回は「ひまわり」の単純な利用法を紹介する
- (XSLTについては後日)

とりあえずの使い方（「ひまわり」）

【注意】かならずハードディスクやUSBメモリなど書き込み可能なメディアにコピーしてから使う
Vista以降の新しいOSでは、ひまわり（JRE）をバージョンアップする必要がある(ver.1.3)

ひまわりを起動
検索
検索結果をExcelにコピー
ゴミを削除後ピボットテーブルで集計

検索結果画面でダブルクリックすると本文が見られる
検索には正規表現が利用可能（制限あり）
- (正規表現については後日)

データの形式

XML形式の文書定義
XMLとは
- Extensible Markup Language (Wikipedia)

参考
- たのしいXML
- 授業資料/コンピュータ言語

2010/04/16 イントロダクション

自己紹介

国立国語研究所（NINJAL）
国語研コーパスの紹介（KOTONOHA）
- 現代日本語書き言葉均衡コーパス（BCCWJ）
  - 特定領域日本語コーパス
- 日本語話し言葉コーパス（CSJ）
- 太陽コーパス（明治・大正期の総合雑誌）
  - 近代女性雑誌コーパス
- 通時コーパス（設計中）
  - cf.Oxford

デモンストレーション

太陽コーパス（プリズム）
近代文語UniDic（形態素解析）＋Excel
利用例
- 東京外大2009-12-02

授業について

シラバス

受講者アンケート
- 専門・関心領域
- PCスキル