![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
*コーパス言語学入門・日本語コーパスの活用 -コーパス言語学入門(人文社会系研究科/基礎文化研究専攻言語学専門分野) -人文情報学特殊講義(文学部次世代人文学開発センター) -言語学特殊講義(文学部言語文化学科言語学専修課程) -冬学期 4限（14：55～16：40） 法文1号室 111教室 ------ -[[中納言>http://chunagon.ninjal.ac.jp]] -[[国語研究所・コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]] **2016/10/21 （復習） --[[授業資料/UniDicの見出し語階層]] ***コーパスへの形態論情報の付与 -短単位：MeCabとUniDicを使った形態素解析で情報付与 -長単位：Comainu（など）で短単位を組み上げる -BCCWJ関連報告書 http://pj.ninjal.ac.jp/corpus_center/bccwj/doc.html --形態論情報規程集(PDF) [[第4版 上>http://pj.ninjal.ac.jp/corpus_center/bccwj/doc/report/JC-D-10-05-01.pdf]]・[[第4版 下>http://pj.ninjal.ac.jp/corpus_center/bccwj/doc/report/JC-D-10-05-02.pdf]] //***形態素解析 #include(授業資料/形態素解析,notitle) ***最近の動向 -KyTea --http://www.phontron.com/kytea/index-ja.html --点予測という系列ラベリングとは別の手法による形態素解析器 -JUMAN++ --http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++ --ごく最近公開されたRNN（ディープラーニングの一種）を使った形態素解析器 ***長単位解析器 -Comainu --https://ja.osdn.net/projects/comainu/ ***係り受け解析器 -CaboCha --https://taku910.github.io/cabocha/ ※（中納言で使える）BCCWJには係り受け情報は付いていない。 ***参考図書 #amazon(4254516010,left); #amazon(4254516029,left); #amazon(479812852X,left); #amazon(4339024511,left); #amazon(4873114705,left); #amazon(4339027510,left); #clear **2016/10/14 -配布資料：「中納言の使い方」（次回以降も使います） ***（前回補足）コーパスの設計とサンプリング --BCCWJの基本設計：http://pj.ninjal.ac.jp/corpus_center/bccwj/basic-design.html --サンプリング：http://pj.ninjal.ac.jp/corpus_center/bccwj/sampling.html ***XMLによる電子化 --http://pj.ninjal.ac.jp/corpus_center/bccwj/XML.html ***形態論情報 --http://pj.ninjal.ac.jp/corpus_center/bccwj/morphology.html -短単位と長単位 --''（配付資料）''参照 --''（スライド）''参照 -品詞体系 --BCCWJは[[UniDic>https://ja.osdn.net/projects/unidic/]]の品詞体系にもとづく ---形態論情報の例 --[[授業資料/UniDicの品詞体系]] --[[授業資料/UniDicの見出し語階層]] **2016/10/7 -配布資料：「仮想講義」（前川） ***「コーパス」について [#k44345b6] -OED corpus, n. http://www.oed.com/view/Entry/41873 :狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 --現代日本語書き言葉均衡コーパス（BCCWJ） / 日本語歴史コーパス（CHJ） :広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。 --さまざまなテキストアーカイブ（新潮文庫の百冊 / 青空文庫 / 国会会議録） --Web上のデータ ---検索サイトの利用 ---WAC（Web as Corpus） ***紙の資料からコーパスまで (日本語研究資料の変遷) +(紙の)本文 +(紙の)総索引（コンコーダンス） +各種の電子テキスト +構造化テキスト --[[太陽コーパス>http://pj.ninjal.ac.jp/corpus_center/cmj/taiyou/]]など +形態論情報付きコーパス --[[現代日本語書き言葉均衡コーパス（BCCWJ）>http://pj.ninjal.ac.jp/corpus_center/bccwj/]]など ***コーパスに求められるもの -コーパス以前の電子化日本語資料（とその限界） --個人研究者による電子化テキスト ---cf. [[日本文学等テキストファイル(岡島昭浩)>http://www.ne.jp/asahi/nihongo/okajima/bungaku.htm]] --出版社による電子出版物（CD-ROM） ---新潮文庫の100冊 etc. --新聞のデータベース（CD-ROM） ---毎日新聞CD-ROM etc. --研究機関のデータベース ---国文学資料館 大系DB etc. --Web上のテキストアーカイブ ---青空文庫 etc. --Webそのもの ---Web as Corpus -コーパスへの要請 --大規模であること --各種のテキストが含まれていて、ジャンルなどのバランスがとれていること --著作権の問題がないこと --言語研究に利用できる情報がついていること ***コーパスの設計とサンプリング -''（スライド参照）'' -均衡コーパス（Balanced corpus） --「バランスがとれている」とは？ --コーパスの母集団の設定とサンプリング --BCCWJのサブコーパス --可変長と固定長 ***参考リンク -英語のコーパス リファレンス --[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/ --[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/ -現代日本語書き言葉均衡コーパス（BCCWJ） --[[現代日本語書き言葉均衡コーパス：概要>http://pj.ninjal.ac.jp/corpus_center/bccwj/index.html]] --[[現代日本語書き言葉均衡コーパス：サンプリング>http://pj.ninjal.ac.jp/corpus_center/bccwj/sampling.html]] **2016/9/30 ***イントロダクション/日本語コーパスの紹介 -[[自己紹介]] --大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/ --[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]] -コーパス --[[現代日本語書き言葉均衡コーパス（BCCWJ）>http://pj.ninjal.ac.jp/corpus_center/bccwj/]] --[[日本語歴史コーパス（CHJ）>http://pj.ninjal.ac.jp/corpus_center/chj/]] --[[形態素解析辞書UniDic>http://sourceforge.jp/projects/unidic/]] -デモ --BCCWJ[[少納言>http://shonagon.ninjal.ac.jp]] --BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]] --[[Web茶まめ>http://chamame.ninjal.ac.jp]] --Excelによる集計（ピボットテーブル） -シラバス確認 --この授業の目的 --授業の進め方 --評価方法 -受講者の関心・スキルについて ***「中納言」オンライン利用申込み -https://chunagon.ninjal.ac.jp/useraccount/register
