![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
*日本語学講義(I) 日本語コーパス研究入門 [#nfef3a22] -授業に関するメールはこちらへ。&br;小木曽 智信： ogiso＠ogiso.net ←＠を半角に置き換えてください -[[授業資料/用語集リンク]] （わからないコンピュータ用語を調べてください） -授業フォルダ \\Linkstation\share\日本語コーパス //--[[シラバス>https://syllabus.hit-u.ac.jp/WebSyllabus/Syllabus/WFS02030S.aspx?target=_blank]] // //***BCCWJ中納言の申し込み //-https://chunagon.ninjal.ac.jp/ //--申し込んでから使えるようになるまでに時間がかかるので早めに申し込んでください。 //***休講のお知らせ //-11月11日は海外出張のため休講とします。 //-一橋祭が行われる''11月4日は開講''しますが、質問対応の回とし出欠は取りません。 ***レポート提出について -形式：Wordファイル（少なくともA4で3枚以上） -締切：２月１３日（月） -提出先：ogiso＠ogiso.net ←＠を半角に置き換えてください （メールに添付） **発展 -[[授業資料/コンピュータ言語]] **2012/01/27 （最終回）レポートを書く ***Wordでレポートや論文を書く -''スタイルと見出し*'' --ナビゲーションウィンドウ（見出しマップ） -''図表と図表番号*'' -相互参照 -目次 --図表目次 -リスト --例文番号 -''少なくとも*印の機能はこの授業のレポートで実際に利用すること'' サンプルファイル：[[中納言概説>http://home.ogiso.net/wiki/pukiwiki.php?plugin=attach&pcmd=open&file=sample_chunagon.doc&refer=%B0%EC%B6%B62011]] ***レポートテーマについて -レポートで取り上げるテーマを聞きます **2012/01/20 ミニコーパスを作る ***「ひまわり」で検索できるミニコーパスを作る -自分でミニコーパスを作るには -マークアップ言語 --[[HTML>http://ja.wikipedia.org/wiki/HyperText_Markup_Language]] ---ごく簡単なHTMLの説明：http://www.kanzaki.com/docs/htminfo.html --[[XML>http://ja.wikipedia.org/wiki/Extensible_Markup_Language]] ---たのしいXML：http://www6.airnet.ne.jp/manyo/xml/ ***「ひまわり」用のデータを作るには [#l26f68db] -[[ひまわり用のデータの作り方>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A1]]（自分でXML文書を設計・作成、設定ファイルを作成する） --◎自由に情報がつけられる ／ △やや難 -[[ひまわり用データ作成ツール「えだまめ」>http://www2.ninjal.ac.jp/lrc/index.php?%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%BB%D9%B1%E7%A5%C4%A1%BC%A5%EB%2F%A4%A8%A4%C0%A4%DE%A4%E1]]（テキストファイルから自動変換により作成する） --[[「えだまめ」の使い方>http://www2.ninjal.ac.jp/lrc/index.php?%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%BB%D9%B1%E7%A5%C4%A1%BC%A5%EB%2F%A4%A8%A4%C0%A4%DE%A4%E1%2F%BB%C8%A4%A4%CA%FD]] --△自分で付けられる情報は「パス」のみ ／ ◎簡単 ---（自動でできたXMLファイルと設定ファイルを編集して、必要な情報を付けることはできる） ***既存のデータを「ひまわり」用に変換する [#tfcee628] -[[ソフトウェア/しおまめ]]（新潮文庫の100冊シリーズ変換） -[[青空文庫のDVD-ROMを変換>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%C0%C4%B6%F5%CA%B8%B8%CB%A4%CE%CA%B8%BD%F1%A4%F2%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%A4%C7%CD%F8%CD%D1%A4%B9%A4%EB%CA%FD%CB%A1%A3%B2]] #amazon(4899840721) #clear **2012/01/06 BCCWJの設計と書誌情報 （スライド参照） -均衡コーパス（balanced corpus）とは --サブコーパスと母集団 --可変長と固定長 ***レポートテーマ -現時点で考えているレポートテーマについて **2011/12/16 BCCWJの形態論情報とUniDicによる形態素解析 ---- #include(授業資料/形態素解析,notitle) ---- --MeCab（Windows用）最新版 [[Download>http://sourceforge.net/projects/mecab/files/mecab-win32/0.98/mecab-0.98.exe/download]] ***茶まめで形態素解析・Excelで集計 +茶まめで解析してみる（解析器はMeCab＋解析辞書はUniDic） +Excelに出力する +ピボットテーブルで集計する -応用：テキストのジャンルと語種，品詞の割合をグラフ化してみる ---ブログのテキストと新聞記事のテキストの解析結果を比較 **2011/12/09 Excelによるデータの処理 ***復習 -ひまわりとExcelピボットテーブルの組み合わせ -例：「それぎり」と「それきり」 ***応用・意味に関わる分析 -分類用のフィールドを作って自分で分類後、集計する --例：「新聞紙」の意味・用法の変化 ---ランダム→先頭100 ***相対頻度の計算 ***調整頻度の計算 --''Himawari版青空文庫・文字数データ''&br;[[Aozora2009GWchars.xls>http://home.ogiso.net/wiki/pukiwiki.php?plugin=attach&pcmd=open&file=Aozora2009GWchars.xls&refer=%C0%AE%EC%FE2010%2F%C6%FC%CB%DC%B8%EC%C6%FC%CB%DC%CA%B8%B3%D8%A4%CE%A4%BF%A4%E1%A4%CE%A5%B3%A5%F3%A5%D4%A5%E5%A1%BC%A5%BFa]] ***中納言の検索結果をピボットテーブルで集計する **2011/12/02 中納言 ***BCCWJ中納言の使い方 --中納言負荷テスト **2011/11/25 「ひまわり」とExcelの利用(2) |前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原著者ID|仮名遣い|コーパス名| ***表計算ソフト Excel入門 [#k88c28d1] -ピボットテーブル（復習） ---例：大[事切] -並べ替え -オートフィルタ --オートフィルタの「オプション」 ---例：前文脈に「一番」または「いちばん」を含む ***Excelを使った集計 [#l7da4009] -ピボットテーブル・ピボットグラフを使う --参考：http://office.microsoft.com/ja-jp/excel/CH062528071041.aspx -グラフの種類について --扱う対象・方法に適したグラフを選択する --参考：http://office.microsoft.com/ja-jp/help/HA012337371041.aspx -文字列処理関数を使って集計用の列を作る ---例（生年代）：=left(生没年,3)*10 ***テキストエディタと組み合わせて使う [#uc1f5bff] -エディタと組み合わせて使う --特定の列をエディタにコピーして正規表現を使った置換を行う --例：検索語がヒットした文の前後の文（の断片）を除去する ---前文脈で：.+。 → ---後文脈で：。.+ → 。 **2011/11/18 「ひまわり」とExcelの利用(1) [#xc608471] ***全文検索ソフト「ひまわり」 [#ubf60277] -「ひまわり」 [[国立国語研究所/言語データベースとソフトウェア/ひまわり>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] -「ひまわり」を授業フォルダに入れ、青空文庫などを検索できるようにしてあります。 -エディタでのGrepとひまわりの違い --対象となるデータ ---エディタ：テキストデータなら何でも ---ひまわり：専用のXML形式（テキストデータを元に変換して作成する。設定ファイルの準備も必要） --検索結果 ---エディタ：マッチした行を一覧表示 ---ひまわり：マッチした文字列をKWIC形式で表示。出典情報なども表示可能 --検索結果 ---エディタ：1行ずつチェックするのでデータが多くなると時間がかかる ---ひまわり：インデックスを利用するので高速 --検索条件 ---エディタ：自由な正規表現 ---ひまわり：正規表現の利用にやや制限あり ***「ひまわり」で使用できる正規表現 [#t52b1fee] -[[授業資料/Himawariの正規表現]] -検索語/キー：普通の文字と、列挙型の文字クラス([あいう]のようなもの。[あ-う]のような範囲指定は不可) -前文脈/後文脈：ほぼ全ての正規表現 --例：[寂淋]し |前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原著者ID|仮名遣い|コーパス名| -ピボットテーブル・ピボットグラフを使う --参考：http://office.microsoft.com/ja-jp/excel/CH062528071041.aspx --例：[寂淋]し ---著者別に集計 ---作品別に集計 **2011/11/4（[[一橋祭>http://jfn.josuikai.net/student/ikkyosai/]]） 復習＆質問 -これまでの授業内容に関する質問 -自分の研究での利用に関する質問 -などなど -参考資料・[[秀丸エディタの使い方(PDF)>http://home.ogiso.net/wiki/pukiwiki.php?plugin=attach&pcmd=open&file=%BD%A8%B4%DD%A5%A8%A5%C7%A5%A3%A5%BF%A4%CE%BB%C8%A4%A4%CA%FD.pdf&refer=%B0%EC%B6%B62011]] **2011/10/28 タグ付き正規表現 ***タグ付き正規表現 [#qc4ff17d] -走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか --次のように置換するととんでもないことに… ---検索文字列：走[らりるれろ] ---置換文字列：★走[らりるれろ] -タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う -[[授業資料/タグつき正規表現]] -（参考）タグ付き正規表現の応用：[[grepと置換でKWICを作る>授業資料/grepと置換でKWICを作る]] ***検索語の中での後方参照 [#j9966c0d] -検索語の中で\1を使う --(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ ***最長一致の原則（greedy matching） [#y047e9bd] -正規表現は、パターンが一致する最も長い範囲にマッチする --例：''「(.+)」'' → ''【\1】'' ---「こんにちは」「さようなら」 → 【こんにちは」「さようなら】 --''「([^」]+)」'' → ''【\1】'' のように書けばよい ---「こんにちは」「さようなら」 → 【こんにちは】【さようなら】 -最短一致を指定するには（ものぐさ指定） --''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」をつける ***正規表現に関する本 [#a3414e4f] -[[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__mk_ja_JP=%83J%83%5E%83J%83i&url=search-alias%3Daps&field-keywords=%90%B3%8BK%95%5C%8C%BB&Go.x=0&Go.y=0&Go=Go]] -正規表現にはアプリケーションソフトやプログラミング言語ごとに多くの方言があるので注意 #amazon(4873111706) #amazon(4873113598) #clear **2011/10/21 正規表現 ***正規表現のいろいろ [#q514651f] -[[授業資料/正規表現]] --文字クラス [ ] --文字クラスの否定（補集合）[^ ] --繰り返し ? + * --グループ化 () --or（論理和） | --文頭 ^、文末 $ ***正規表現の応用 [#c7a3ea2d] --カタカナ語 --送りがなの揺れ（行う／行なう） --''全然～ない。'' --会話文中（''「''で始まる） ***タグ付き正規表現 [#qc4ff17d] -走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか --次のように置換するととんでもないことに… ---検索文字列：走[らりるれろ] ---置換文字列：★走[らりるれろ] -タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う -[[授業資料/タグつき正規表現]] -（参考）タグ付き正規表現の応用：[[grepと置換でKWICを作る>授業資料/grepと置換でKWICを作る]] ***検索語の中での後方参照 [#j9966c0d] -検索語の中で\1を使う --(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ ***最長一致の原則（greedy matching） [#y047e9bd] -正規表現は、パターンが一致する最も長い範囲にマッチする --例：''「(.+)」'' → ''【\1】'' ---「こんにちは」「さようなら」 → 【こんにちは」「さようなら】 --''「([^」]+)」'' → ''【\1】'' のように書けばよい ---「こんにちは」「さようなら」 → 【こんにちは】【さようなら】 -最短一致を指定するには（ものぐさ指定） --''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」をつける **2011/10/14 テキストエディタの利用 [#h5039c4a] ***復習 -検索で初出行を調べる -置換で用例数を数える -grepとタグジャンプ ***ショートカットキー [#f0022be4] -[[授業資料/覚えておきたいショートカットキー]] ***grepと置換でKWIC（CSVファイル）を作る [#u3ab2d6f] -grep結果の保存 -grep結果の置換による整形 -CSVファイルとは：テキストファイルで表を表現する [[用語：CSVファイル>http://e-words.jp/w/CSV.html]] -KWICとは：KeyWord In Context ***おすすめテキストエディタ [#oa8d82a7] -フリーウェア --サクラエディタ(2.x) http://sourceforge.net/projects/sakura-editor/ 【unicode】オススメ --K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】 --Apsalyテキストエディタ http://www.vector.co.jp/soft/win95/writing/se423509.html 【SJIS】 -シェアウェア --EmEditor http://jp.emeditor.com/ 4,200円 --秀丸エディタ http://hide.maruo.co.jp/software/hidemaru.html 4,200円 ***正規表現とは [#d216d4e0] -''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字（メタ文字） --置換・検索・grepで利用できる --記号はすべて半角 --特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2 -文字クラス [ ] --文字クラスの補集合（それ以外の文字）[^ ] (つづく) -[[授業資料/正規表現]] **2011/10/07 テキストデータとテキストエディタ まずは、テキストエディタを使ってテキストデータを扱うことからはじめます。 -共有フォルダの確認 --マイネットワーク＞share＞日本語コーパス ***（補足）「コーパス」について [#k44345b6] この授業ではBCCWJのほかに、青空文庫・国会会議録などの広義のコーパス、自作のミニコーパスなども取り扱います。 -狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 --Kotonoha (BCCWJ / CSJ / 太陽コーパス) -広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能なもの。 --さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録） --Webデータ ---検索サイトの利用 ---WAC（Web as Corpus） ***テキストデータ [#wee47413] 全ての基本。テキストデータ≒テキストファイル≒電子化テキスト -テキストデータとはどんなものか --[[授業資料/テキストデータとは]] --[[授業資料/文字コード関連リンク]] --[[授業資料/テキストデータ紹介]]（広義のコーパス） ---参考 [[『国会会議録を使った日本語研究』>http://www.hituzi.co.jp/books/299.html]] #amazon(4894762994) ***テキストファイルと拡張子 [#c15ea011] -[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%A1%E5%BC%B5%E5%AD%90]] -拡張子辞典：http://jisyo.com/viewer/list/list.html -TXT,CSV,HTM・・・ ***テキストエディタ [#q7ae852c] -テキストエディタとはどんなものか --[[授業資料/テキストエディタ]] ***テキストエディタの基礎 [#l73e457c] -スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号） --cf. 見た目 と 構造 -検索と置換、grep **2011/09/30 イントロダクション [#p494942d] -[[自己紹介]] -[[国立国語研究所（NINJAL）>http://www.ninjal.ac.jp/]] -国語研コーパス（[[KOTONOHA>http://www.ninjal.ac.jp/kotonoha/]]） --現代日本語書き言葉均衡コーパス（BCCWJ） ---[[特定領域 日本語コーパス>http://www.tokuteicorpus.jp/]] ---[[検索デモサイト>http://shonagon.ninjal.ac.jp]] --日本語話し言葉コーパス（CSJ） --太陽コーパス（明治・大正期の総合雑誌） --通時コーパス（設計中） -授業の進め方について --受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。 --シラバス確認 https://mercas.hit-u.ac.jp/ -受講者アンケート --専門・関心領域 --PCスキル -デモンストレーション --茶まめ（形態素解析）＋Excel ***授業で利用する主なソフトウェア [#i06478d2] |名前|種類|利用目的|h |''[[秀丸エディタ>http://hide.maruo.co.jp/software/hidemaru.html]]''|テキストエディタ|検索・整形| |''[[Excel>http://office.microsoft.com/ja-jp/excel/default.aspx]]''|表計算ソフト|集計・分析・グラフ作成| |''[[Access>http://office.microsoft.com/ja-jp/access/default.aspx]]''(時間があれば)|データベースソフト|集計・分析| |''[[Word>http://office.microsoft.com/ja-jp/word/default.aspx]]''|ワープロ|レポート作成| |''[[ひまわり>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]]''|全文検索システム|検索・集計| |''[[MeCab>http://mecab.sourceforge.net/]]''|形態素解析器|形態素解析| |''[[UniDic>http://download.unidic.org]]''|形態素解析辞書|~| |''[[BCCWJ：小納言>http://shonagon.ninjal.ac.jp]]''|Webサービス(文字列検索)|コーパス検索| |''[[BCCWJ：前中納言>http://morph.kotonoha.gr.jp/login.aspx]]''|Webサービス（単語情報付き検索）|~| |''[[BCCWJ：中納言>http://chunagon.ninjal.ac.jp]]''|Webサービス（単語情報付き検索）|~|
