*コーパス言語学入門・日本語コーパスの活用
-コーパス言語学入門(人文社会系研究科/基礎文化研究専攻言語学専門分野)
-人文情報学特殊講義(文学部次世代人文学開発センター)
-言語学特殊講義(文学部言語文化学科言語学専修課程)
-冬学期 4限(14:55~16:40) 法文1号室 111教室

------
-[[中納言>http://chunagon.ninjal.ac.jp]]
-[[国語研究所・コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]]

**2016/10/21

(復習)
--[[授業資料/UniDicの見出し語階層]]

***コーパスへの形態論情報の付与

-短単位:MeCabとUniDicを使った形態素解析で情報付与
-長単位:Comainu(など)で短単位を組み上げる

-BCCWJ関連報告書 http://pj.ninjal.ac.jp/corpus_center/bccwj/doc.html
--形態論情報規程集(PDF) [[第4版 上>http://pj.ninjal.ac.jp/corpus_center/bccwj/doc/report/JC-D-10-05-01.pdf]]・[[第4版 下>http://pj.ninjal.ac.jp/corpus_center/bccwj/doc/report/JC-D-10-05-02.pdf]]


//***形態素解析
#include(授業資料/形態素解析,notitle)


***最近の動向
-KyTea
--http://www.phontron.com/kytea/index-ja.html
--点予測という系列ラベリングとは別の手法による形態素解析器
-JUMAN++
--http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++
--ごく最近公開されたRNN(ディープラーニングの一種)を使った形態素解析器

***長単位解析器
-Comainu
--https://ja.osdn.net/projects/comainu/

***係り受け解析器
-CaboCha
--https://taku910.github.io/cabocha/
※(中納言で使える)BCCWJには係り受け情報は付いていない。


***参考図書

#amazon(4254516010,left);

#amazon(4254516029,left);

#amazon(479812852X,left);

#amazon(4339024511,left);

#amazon(4873114705,left);

#amazon(4339027510,left);

#clear
**2016/10/14
-配布資料:「中納言の使い方」(次回以降も使います)

***(前回補足)コーパスの設計とサンプリング
--BCCWJの基本設計:http://pj.ninjal.ac.jp/corpus_center/bccwj/basic-design.html
--サンプリング:http://pj.ninjal.ac.jp/corpus_center/bccwj/sampling.html

***XMLによる電子化
--http://pj.ninjal.ac.jp/corpus_center/bccwj/XML.html

***形態論情報
--http://pj.ninjal.ac.jp/corpus_center/bccwj/morphology.html

-短単位と長単位
--''(配付資料)''参照
--''(スライド)''参照

-品詞体系
--BCCWJは[[UniDic>https://ja.osdn.net/projects/unidic/]]の品詞体系にもとづく
---形態論情報の例
--[[授業資料/UniDicの品詞体系]]
--[[授業資料/UniDicの見出し語階層]]


**2016/10/7

-配布資料:「仮想講義」(前川)

***「コーパス」について [#k44345b6]

-OED corpus, n. http://www.oed.com/view/Entry/41873

:狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
--現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ)
:広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
--さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
--Web上のデータ
---検索サイトの利用
---WAC(Web as Corpus)

***紙の資料からコーパスまで (日本語研究資料の変遷)

+(紙の)本文
+(紙の)総索引(コンコーダンス)
+各種の電子テキスト
+構造化テキスト
--[[太陽コーパス>http://pj.ninjal.ac.jp/corpus_center/cmj/taiyou/]]など
+形態論情報付きコーパス
--[[現代日本語書き言葉均衡コーパス(BCCWJ)>http://pj.ninjal.ac.jp/corpus_center/bccwj/]]など

***コーパスに求められるもの

-コーパス以前の電子化日本語資料(とその限界)
--個人研究者による電子化テキスト
---cf. [[日本文学等テキストファイル(岡島昭浩)>http://www.ne.jp/asahi/nihongo/okajima/bungaku.htm]]
--出版社による電子出版物(CD-ROM)
---新潮文庫の100冊 etc.
--新聞のデータベース(CD-ROM)
---毎日新聞CD-ROM etc.
--研究機関のデータベース
---国文学資料館 大系DB etc.
--Web上のテキストアーカイブ
---青空文庫 etc.
--Webそのもの
---Web as Corpus

-コーパスへの要請
--大規模であること
--各種のテキストが含まれていて、ジャンルなどのバランスがとれていること
--著作権の問題がないこと
--言語研究に利用できる情報がついていること


***コーパスの設計とサンプリング

-''(スライド参照)''
-均衡コーパス(Balanced corpus)
--「バランスがとれている」とは?
--コーパスの母集団の設定とサンプリング
--BCCWJのサブコーパス
--可変長と固定長


***参考リンク
-英語のコーパス リファレンス
--[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/
--[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/
-現代日本語書き言葉均衡コーパス(BCCWJ)
--[[現代日本語書き言葉均衡コーパス:概要>http://pj.ninjal.ac.jp/corpus_center/bccwj/index.html]]
--[[現代日本語書き言葉均衡コーパス:サンプリング>http://pj.ninjal.ac.jp/corpus_center/bccwj/sampling.html]]



**2016/9/30
***イントロダクション/日本語コーパスの紹介

-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
--[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]]
-コーパス
--[[現代日本語書き言葉均衡コーパス(BCCWJ)>http://pj.ninjal.ac.jp/corpus_center/bccwj/]]
--[[日本語歴史コーパス(CHJ)>http://pj.ninjal.ac.jp/corpus_center/chj/]]
--[[形態素解析辞書UniDic>http://sourceforge.jp/projects/unidic/]]

-デモ
--BCCWJ[[少納言>http://shonagon.ninjal.ac.jp]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
--[[Web茶まめ>http://chamame.ninjal.ac.jp]]
--Excelによる集計(ピボットテーブル)

-シラバス確認
--この授業の目的
--授業の進め方
--評価方法
-受講者の関心・スキルについて

***「中納言」オンライン利用申込み
-https://chunagon.ninjal.ac.jp/useraccount/register

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS