一橋2008

• 授業に関するメールはこちらへ。小木曽 智信： ogiso@ogiso.net
• 授業資料/用語集リンク （わからないコンピュータ用語を調べてください）

日本語学講義(I) 日本語コーパス研究†

• レポート〆切：2月6日

第14回　2009/01/23　発表と討議 最終回†

発表と討議†

• 影響を{与える,及ぼす,もたらす}　／BCCWJ,Taiyo
• もとのめ

おわりに†

第13回　2009/01/09　発表と討議 第4回†

発表と討議†

• 太陽コーパスにおける否定辞の変化（言文一致）
• 国会会議録に見る待遇表現

第12回　2008/12/19　発表と討議 第3回†

• 国文学 解釈と鑑賞 2009年 01月号「日本語研究とコーパス」
• http://www.shibundo.co.jp/cgi-bin/menu.cgi?ISBN=037170109 #amazon(B001LSCVAW)

発表と討議†

• 複合動詞「見-」
• 「大きい」と「大きな」　

応用†

• ./検索結果に形態素解析

資料紹介†

• CASTEL/J ミレニアム特別版 http://www.nier.go.jp/saka/casmil.htm

第11回　2008/12/12　発表と討議 第2回†

発表と討議†

• 「～てくれる」と条件表現
• 「筆舌」

近代語のデータと解析辞書†

• 近代女性雑誌コーパス
  • 太陽コーパスと同時代の女性雑誌の資料。無償（要申し込み）。
• 近代文語UniDic
  • UniDicをもとにして近代文語文を解析できるようにした形態素解析辞書。無償（アンケート後ダウロード）。

第10回　2008/12/5　発表と討議 第1回 ／ データベースソフトを使う†

発表と討議†

• アンケート集計
• 慣用句

データベースソフトを使う†

• リレーショナルデータベースの考え方
  • 表の結合（2）
  • 表の正規化 参考

第9回　2008/11/28　形態素解析とデータベースソフト†

後半に向けて†

• 発表順決め
• 発表テーマの検討

茶まめで形態素解析†

1. 準備
   • 教室版「茶まめ」の準備（解析器と辞書はサーバ上）
2. 茶まめで解析してみる（MeCab＋UniDic）
3. Excelに出力する
4. ピボットテーブルで集計する

Microsoft Access（データベースソフト）†

• データを取り込む

• 取り込んだデータの利用（サンプルDBを使う）
  • 表とクエリ
  • 表の結合

第8回　2008/11/21　形態素解析†

• 新・授業フォルダ（NAS）
• 配付資料
  • シリーズ国語研究の現場から「日本語研究と自動形態素解析」
  • BCCWJモニター版案内
    • 申し込みは各自郵送で行ってください

復習：Excelでの集計†

1. ひまわりで検索する
   • 正規表現
2. Excelに貼り付ける
3. 列を整える
   • 文字列関数
4. ピボットテーブルで集計する

形態素解析とは†

• 形態素解析器（解析エンジン・プログラム）
  • 茶筌（ChaSen）
  • 和布蕪（MeCab）
• 解析辞書
  • NAIST-jdic (IPADIC)
  • UniDic
    • 近代文語UniDic
• 茶まめ（解析用GUIツール）

茶まめで形態素解析（デモ）†

1. 茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic）
2. Excelに出力する
3. ピボットテーブルで集計する

第7回　2008/11/14　Excelでの集計†

持ち帰り用データ†

• 授業フォルダの「持ち帰り用」フォルダ内にあるHimawariとそのデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。

Excel†

• ピボットテーブルを使う
  • 参考：http://office.microsoft.com/ja-jp/excel/CH062528071041.aspx

• 関数を使う
  • =left([文字列],[文字数])
  • 生没年（1867-1916）から10年ごとの生まれた年代（1860）を取り出すには
    • =left([生没年],3)*10

• 用例の分類と集計
  1. 分類記号を入れる列を用意し、自分で入力する
  2. ピボットテーブルで入力した分類を使う

• グラフの種類について
  • http://office.microsoft.com/ja-jp/help/HA012337371041.aspx
  • 扱う対象・方法に適したグラフを選択する 上記URL参照

• Excelの使い方全般について
  • Excel 2003 のヘルプと使い方
  • Excelトレーニング（Microsoft）

後半の発表・レポートに向けて†

• あと2回ほどで前半（ツールとその使い方に関する説明）を終えます。
• 後半の発表とレポートに向けて、どのような資料を使い、どのようなテーマを扱うか考えておいてください。

おすすめエディタ†

• フリーウェア
  • K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】
  • Apsalyテキストエディタ http://www.vector.co.jp/soft/win95/writing/se423509.html 【SJIS】
  • サクラエディタ http://sakura-editor.sourceforge.net/ 【SJIS】unicode版開発中
• シェアウェア
  • EmEditor http://jp.emeditor.com/ 4,200円
  • 秀丸エディタ http://hide.maruo.co.jp/software/hidemaru.html 4,200円

第6回　2008/11/7　「ひまわり」とExcel†

正規表現・補足†

• （参考）タグ付き正規表現の応用：grepと置換でKWICを作る

全文検索ソフト「ひまわり」の利用†

• 「ひまわり」　国立国語研究所/言語データベースとソフトウェア/ひまわり
• 「ひまわり」を授業フォルダに入れ、青空文庫を検索できるようにしてあります。

「ひまわり」で使用できる正規表現†

• 授業資料/Himawariの正規表現
• 検索語/キー：普通の文字と、列挙型の文字クラス([あいう]のようなもの。[あ-う]は不可)
• 前文脈/後文脈：ほぼ全ての正規表現

• 応用：「ひまわり」の検索結果を正規表現を使った置換で加工する

表計算ソフト Excel入門†

• 並べ替え
• オートフィルタ
  • オートフィルタの「オプション」

発展：「ひまわり」用のデータを作るには†

• XML形式について
• ひまわり用データ作成ツール「えだまめ」
• ソフトウェア/しおまめ（新潮文庫の100冊シリーズ変換）
• 青空文庫のDVD-ROMを変換

第5回　2008/10/31　正規表現の応用・タグ付き正規表現†

正規表現のいろいろ†

• 授業資料/正規表現
  • グループ化 ()
  • or（論理和） |
  • 文頭 ^、文末 $
• 最長一致の原則（greedy matching）

• 応用例
  • 会話文（「で始まる）

タグ付き正規表現を使った置換†

• 走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか
  • 次のように置換するととんでもないことに…
    • 検索文字列：走[らりるれろ]
    • 置換文字列：★走[らりるれろ]
• タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う
• 授業資料/タグつき正規表現

• 利用例
  • 「ー」で終わるカタカナ語の「ー」を削除する
  • 動詞「表わす」の表記を「表す」に統一する

正規表現に関する本†

• amazonで検索

#amazon(4873111706) #amazon(4873113598)

第4回　2008/10/24　正規表現†

• 秀丸エディタの使い方(PDF)

メタ文字 ― ワイルドカードと正規表現†

• ワイルドカード　＞用語　　cf.トランプのJoker
  • 主にファイル名の指定で使う
  • 文字を表すための文字（メタ文字） ?と* *1

正規表現とは†

• 正規表現　＞用語
  • 文字を表すための特殊な文字（メタ文字）
  • 置換・検索・grepで利用できる
  • 記号はすべて半角
  • 特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す）　例：1\+2

• 文字クラス [ ]
• 文字クラスの否定（補集合）[^ ]
• 繰り返し ? + *

正規表現の応用†

• カタカナ語
• 送りがなの揺れ（行う／行なう）
• 全然～ない。

第3回　2008/10/17　テキストエディタを使う†

• テキストエディタの基礎
  • スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号）
  • ファイルの作成と保存
  • 検索と置換
• grepとその応用
  • grep
  • タグジャンプ
  • grep結果の保存
• 応用
  • 検索で初出行を調べる
  • 置換で用例数を数える

grepと置換でCSVファイルを作る†

• grep結果の置換による整形
• CSVファイルとは：テキストファイルで表を表現する 用語：CSVファイル
• CSVファイルをExcelで開く
• KWIC：KeyWord In Context

テキストファイルと拡張子†

• 拡張子(wikipedia)
• 拡張子辞典：http://jisyo.com/viewer/list/list.html
• TXT,CSV,HTM・・・

ショートカットキー†

• 授業資料/覚えておきたいショートカットキー

第2回　2008/10/10　テキストデータとテキストエディタ†

• 共有フォルダの確認

授業で利用する主なソフトウェア†

最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。

テキストデータ†

テキストデータ≒テキストファイル≒電子化テキスト

• テキストデータとはどんなものか
  • 授業資料/テキストデータとは
  • 授業資料/テキストデータ紹介
    • 参考 『国会会議録を使った日本語研究』

• 授業資料/文字コード関連リンク

テキストエディタ†

• テキストエディタとはどんなものか
  • 授業資料/テキストエディタ

2008/10/03 イントロダクション†

• 自己紹介
• 国語研コーパスの紹介

• 授業の進め方について
  • シラバス確認

• デモ
  • 形態素解析＋Excel

• 受講者アンケート
  • 専門・関心領域
  • PCスキル

最新の10件