![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
*日本語学講義(I) 日本語コーパス研究入門 [#nfef3a22] -授業に関するメールはこちらへ。小木曽 智信： ogiso@ogiso.net -[[授業資料/用語集リンク]] （わからないコンピュータ用語を調べてください） -授業フォルダ \\Linkstation\share\日本語コーパス //--[[シラバス>https://syllabus.hit-u.ac.jp/WebSyllabus/Syllabus/WFS02030S.aspx?target=_blank]] ***おしらせ -【重要】''BCCWJモニター公開データ''を申し込んでください。 --http://www.ninjal.ac.jp/kotonoha/ex_8.html -持ち帰り用データ --授業フォルダの「持ち帰り用」フォルダ内にある「ひまわり」のデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。 -海外出張のため&color(red){7月8日,15日と連続で休講};になります -レポート締め切りは&color(red){8月7日（火）};とします。メールに添付して送ってください。 //-海外出張のため&color(red){7月8日,15日と連続で休講};になります -レポート締め切りは&color(red){8月7日（土）};とします。メールに添付して送ってください。 **2010/07/22 最終回 -進捗発表・質問 -相対頻度の算出（中納言） **2010/07/01 Wordで論文を書く／集計結果の検定 -進捗発表について ***Wordで論文を書く -「スタイル」「見出しマップ」の活用 -節番号、図表番号と相互参照 -例文番号を自動でつけるには -「目次」「索引」の自動生成 ***集計結果の検定（クロス集計表の独立性の検定） -参考：群馬大・青木繁伸先生のページ（ここでは簡便にExcelでできる方法を紹介しますが、ほんとうは「[[R>授業資料/コンピュータ言語#R]]」をおすすめします） --http://aoki2.si.gunma-u.ac.jp/lecture/Cross/cross.html（カイ二乗検定） --http://aoki2.si.gunma-u.ac.jp/lecture/stats-by-excel/vba/html/chi-sq-test.html (独立性の検定を行うExcel関数) --http://aoki2.si.gunma-u.ac.jp/lecture/stats-by-excel/vba/html/fisher.html（フィッシャーの正確確率検定） **2010/06/24 形態素解析済みコーパスの利用 -[[コーパス検索ツール：中納言>http://morph.kotonoha.gr.jp/login.aspx]] --全文検索と短単位検索の違い --短単位の指定方法 --短単位連続の検索 --同一文中における共起の検索 -検索結果のダウンロード --検索結果をExcelにインポートする -> ピボットテーブル **2010/06/17 形態素解析 -配付資料：「日本語研究と自動形態素解析」 -形態素解析の仕組み -「茶まめ」の使い方 CENTER:&ref(chamame.PNG,,50%); -解析結果をピボットテーブルで集計 -[[UniDic>http://download.unidic.org]]の品詞体系 --品詞：名詞-固有名詞-姓 （大分類＞中分類＞小分類） --活用型：下一段-ア行 （大分類＞行分類（＞小分類）） --可能性に基づく品詞体系 ---名詞-普通名詞-サ変''可能'' --形状詞 （＝形容動詞語幹） --助動詞「う」が付いた形を意志推量形として扱う ***レポートテーマについて -現時点で考えているレポートテーマについてお聞きします。（後日、進捗発表をお願いします） **2010/06/10 「ひまわり」で検索できるミニコーパスを作る -自分でミニコーパスを作るには -マークアップ言語 --[[HTML>http://ja.wikipedia.org/wiki/HyperText_Markup_Language]] ---ごく簡単なHTMLの説明：http://www.kanzaki.com/docs/htminfo.html --[[XML>http://ja.wikipedia.org/wiki/Extensible_Markup_Language]] ---たのしいXML：http://www6.airnet.ne.jp/manyo/xml/ ***「ひまわり」用のデータを作るには [#l26f68db] -[[ひまわり用のデータの作り方>http://www.kokken.go.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A1]]（自分でXML文書を設計・作成、設定ファイルを作成する） --◎自由に情報がつけられる ／ △やや難 -[[ひまわり用データ作成ツール「えだまめ」>http://www.kokken.go.jp/lrc/index.php?%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%BB%D9%B1%E7%A5%C4%A1%BC%A5%EB%2F%A4%A8%A4%C0%A4%DE%A4%E1]]（テキストファイルから自動変換により作成する） --[[「えだまめ」の使い方>http://www.kokken.go.jp/lrc/index.php?%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%BB%D9%B1%E7%A5%C4%A1%BC%A5%EB%2F%A4%A8%A4%C0%A4%DE%A4%E1%2F%BB%C8%A4%A4%CA%FD]] --△自分で付けられる情報は「パス」のみ ／ ◎簡単 ---（自動でできたXMLファイルと設定ファイルを編集して、必要な情報を付けることはできる） ***既存のデータを「ひまわり」用に変換する [#tfcee628] -[[ソフトウェア/しおまめ]]（新潮文庫の100冊シリーズ変換） -[[青空文庫のDVD-ROMを変換>http://www.kokken.go.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%C0%C4%B6%F5%CA%B8%B8%CB%A4%CE%CA%B8%BD%F1%A4%F2%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%A4%C7%CD%F8%CD%D1%A4%B9%A4%EB%CA%FD%CB%A1%A3%B2]] #amazon(4899840721) #clear **2010/06/03 「ひまわり」とExcelの利用(2) |前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原著者ID|仮名遣い|コーパス名| ***表計算ソフト Excel入門 [#k88c28d1] -Excelの使い方全般について --[[Excel 2003 のヘルプと使い方>http://office.microsoft.com/ja-jp/excel/FX100646961041.aspx]] --[[Excelトレーニング（Microsoft）>http://office.microsoft.com/ja-jp/training/CR061831141041.aspx]] -ピボットテーブル（復習） ---例：大[事切] -並べ替え -オートフィルタ --オートフィルタの「オプション」 ---例：前文脈に「一番」または「いちばん」を含む ***Excelを使った集計 [#l7da4009] -ピボットテーブル・ピボットグラフを使う --参考：http://office.microsoft.com/ja-jp/excel/CH062528071041.aspx -グラフの種類について --http://office.microsoft.com/ja-jp/help/HA012337371041.aspx --扱う対象・方法に適したグラフを選択する 上記URL参照 -文字列処理関数を使って集計用の列を作る ---例（生年代）：=left(生没年,3)*10 ***テキストエディタと組み合わせて使う [#uc1f5bff] -エディタと組み合わせて使う --特定の列をエディタにコピーして正規表現を使った置換を行う --例：検索語がヒットした文の前後の文（の断片）を除去する ---前文脈で：.+。 → ---後文脈で：。.+ → 。 **2010/05/27 「ひまわり」とExcelの利用(1) [#xc608471] ***全文検索ソフト「ひまわり」 [#ubf60277] -「ひまわり」 [[国立国語研究所/言語データベースとソフトウェア/ひまわり>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]] -「ひまわり」を授業フォルダに入れ、青空文庫などを検索できるようにしてあります。 ***「ひまわり」で使用できる正規表現 [#t52b1fee] -[[授業資料/Himawariの正規表現]] -検索語/キー：普通の文字と、列挙型の文字クラス([あいう]のようなもの。[あ-う]のような範囲指定は不可) -前文脈/後文脈：ほぼ全ての正規表現 --例：[寂淋]し |前文脈|キー|後文脈|タイトル|著者|著者ID|生没年|原著者|原著者ID|仮名遣い|コーパス名| -ピボットテーブル・ピボットグラフを使う --参考：http://office.microsoft.com/ja-jp/excel/CH062528071041.aspx --例：[寂淋]し ---著者別に集計 ---作品別に集計 **2010/05/20 タグ付き正規表現 -タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う -[[授業資料/タグつき正規表現]] -（参考）タグ付き正規表現の応用：[[grepと置換でKWICを作る>授業資料/grepと置換でKWICを作る]] ***検索語の中での後方参照 [#j9966c0d] -検索語の中で\1を使う --(.ろ)\1 「ころころ」「どろどろ」「へろへろ」などにマッチ ***最長一致の原則（greedy matching） [#y047e9bd] -正規表現は、パターンが一致する最も長い範囲にマッチする --例：''「(.+)」'' → ''【\1】'' ---「こんにちは」「さようなら」 → 【こんにちは」「さようなら】 --''「([^」]+)」'' → ''【\1】'' のように書けばよい ---「こんにちは」「さようなら」 → 【こんにちは】【さようなら】 -最短一致を指定するには（ものぐさ指定） --''「(.+?)」「(.*?)」''のように、繰り返し指定の後に「?」をつける ***正規表現に関する本 [#a3414e4f] -[[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__mk_ja_JP=%83J%83%5E%83J%83i&url=search-alias%3Daps&field-keywords=%90%B3%8BK%95%5C%8C%BB&Go.x=0&Go.y=0&Go=Go]] -正規表現にはアプリケーションソフトやプログラミング言語ごとに多くの方言があるので注意 #amazon(4873111706) #amazon(4873113598) #clear **2010/05/13 正規表現 ***正規表現のいろいろ [#q514651f] -[[授業資料/正規表現]] --文字クラス [ ] --文字クラスの否定（補集合）[^ ] --繰り返し ? + * --グループ化 () --or（論理和） | --文頭 ^、文末 $ ***正規表現の応用 [#c7a3ea2d] --カタカナ語 --送りがなの揺れ（行う／行なう） --''全然～ない。'' --会話文中（''「''で始まる） ***タグ付き正規表現 [#qc4ff17d] -走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか --次のように置換するととんでもないことに… ---検索文字列：走[らりるれろ] ---置換文字列：★走[らりるれろ] -タグ付き正規表現・カッコ（半角丸カッコ）と\1（\2，\3…）を使う -[[授業資料/タグつき正規表現]] **5/6：休講 **4/29：祝日 -次の授業まで間が空きますので、次の資料を読み、なるべく実際に試して予習しておいてください。 --[[秀丸エディタの使い方>http://home.ogiso.net/wiki/pukiwiki.php?plugin=attach&pcmd=open&file=%BD%A8%B4%DD%A5%A8%A5%C7%A5%A3%A5%BF%A4%CE%BB%C8%A4%A4%CA%FD.pdf&refer=%BC%F8%B6%C8%BB%F1%CE%C1]] --[[授業資料/正規表現]] **2010/04/22 テキストエディタの利用 [#h5039c4a] ***復習 -検索で初出行を調べる -置換で用例数を数える -grepとタグジャンプ ***grepと置換でKWIC（CSVファイル）を作る [#u3ab2d6f] -grep結果の保存 -grep結果の置換による整形 -CSVファイルとは：テキストファイルで表を表現する [[用語：CSVファイル>http://e-words.jp/w/CSV.html]] -KWICとは：KeyWord In Context ***ショートカットキー [#f0022be4] -[[授業資料/覚えておきたいショートカットキー]] ***おすすめテキストエディタ [#oa8d82a7] -フリーウェア --K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】 --Apsalyテキストエディタ http://www.vector.co.jp/soft/win95/writing/se423509.html 【SJIS】 --サクラエディタ http://sakura-editor.sourceforge.net/ 【SJIS】unicode版開発中 -シェアウェア --EmEditor http://jp.emeditor.com/ 4,200円 --秀丸エディタ http://hide.maruo.co.jp/software/hidemaru.html 4,200円 ***正規表現とは [#d216d4e0] -''正規表現'' [[＞用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字（メタ文字） --置換・検索・grepで利用できる --記号はすべて半角 --特殊文字そのものを表す場合には\でエスケープする（特殊な意味を打ち消す） 例：1\+2 -文字クラス [ ] -文字クラスの否定（補集合）[^ ] (つづく) **2010/04/15 テキストデータとテキストエディタ 最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。 -共有フォルダの確認 --マイネットワーク＞share＞日本語コーパス ***（補足）「コーパス」について [#k44345b6] この授業ではBCCWJ（モニター公開版）のほかに、青空文庫・国会会議録などの広義のコーパス、自作のミニコーパスなども取り扱います。 -狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 --Kotonoha (BCCWJ / CSJ / 太陽コーパス) -広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。 --さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録） --Webデータ ---検索サイトの利用 ---WAC（Web as Corpus） ***テキストデータ [#wee47413] 全ての基本。テキストデータ≒テキストファイル≒電子化テキスト -テキストデータとはどんなものか --[[授業資料/テキストデータとは]] --[[授業資料/文字コード関連リンク]] --[[授業資料/テキストデータ紹介]]（広義のコーパス） ---参考 [[『国会会議録を使った日本語研究』>http://www.hituzi.co.jp/books/299.html]] #amazon(4894762994) ***テキストファイルと拡張子 [#c15ea011] -[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%A1%E5%BC%B5%E5%AD%90]] -拡張子辞典：http://jisyo.com/viewer/list/list.html -TXT,CSV,HTM・・・ ***テキストエディタ [#q7ae852c] -テキストエディタとはどんなものか --[[授業資料/テキストエディタ]] ***テキストエディタの基礎 [#l73e457c] -スタイル行番号（ワープロ的行番号）と論理行番号（エディタ的行番号） --cf. 見た目 と 構造 -検索と置換、grep **2010/04/08 イントロダクション [#p494942d] -[[自己紹介]] -[[国立国語研究所（NINJAL）>http://www.ninjal.ac.jp/]] -国語研コーパスの紹介（[[KOTONOHA>http://www.ninjal.ac.jp/kotonoha/]]） --現代日本語書き言葉均衡コーパス（BCCWJ） ---[[特定領域 日本語コーパス>http://www.tokuteicorpus.jp/]] ---[[検索デモサイト>http://www.kotonoha.gr.jp/cgi-bin/search_form.cgi?viaTopPage=1]] --日本語話し言葉コーパス（CSJ） --太陽コーパス（明治・大正期の総合雑誌） --通時コーパス（設計中） -授業の進め方について --受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。 --[[シラバス>https://syllabus.hit-u.ac.jp/websyllabus/userattestation/]]確認 -受講者アンケート --専門・関心領域 --PCスキル -デモンストレーション --茶まめ（形態素解析）＋Excel ***授業で利用する主なソフトウェア [#i06478d2] |''[[秀丸エディタ>http://hide.maruo.co.jp/software/hidemaru.html]]''|テキストエディタ|検索・整形| |''[[Excel>http://office.microsoft.com/ja-jp/excel/default.aspx]]''|表計算ソフト|集計・分析・グラフ作成| |''[[Access>http://office.microsoft.com/ja-jp/access/default.aspx]]''|データベースソフト|集計・分析| |''[[Word>http://office.microsoft.com/ja-jp/word/default.aspx]]''|ワープロ|レポート作成| |''[[ひまわり>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]]''|全文検索ソフト|検索・分析| |''[[MeCab>http://mecab.sourceforge.net/]]''|形態素解析器|形態素解析| |''[[UniDic>http://download.unidic.org]]''|形態素解析辞書|~| このほかにWeb上で利用できるサービスも取り上げます。 -''[[コーパス検索ツール：中納言>http://morph.kotonoha.gr.jp/login.aspx]]''
