[[東京外大2017]]

*Japan Studies 2：コーパス日本語学入門

-秋学期・木曜4限
-ogiso＠ogiso.net　←＠を@に直してください

----

-[[コーパス検索アプリケーション「中納言」 https://chunagon.ninjal.ac.jp/>https://chunagon.ninjal.ac.jp/]]


**2016/10/13　（前期の復習）中納言による検索と集計 ／ Rを使ってみる
**2017/10/19　Rを使ってみる（2）対応分析

-Rの使い方全般に関する参考資料：[[[連載]フリーソフトによるデータ解析・マイニング (同志社大・金明哲先生)>ftp://tech.obihiro.ac.jp/suzuki/mjin_R.pdf]]


-多変量解析
--''対応分析''＝コレスポンデンス分析

-https://www.ic.nanzan-u.ac.jp/~urakami/pdf/RpdfW/v95_22w.pdf

***クロス集計表からのコレスポンデンス分析
-「やはり」「やっぱり」「やっぱ」とレジスター

 yahari<-matrix(c(
 1,2,0,9,4,0,
 20,12,1,30,23,0,
 31,54,13,17,31,2
 )
 ,3,6,byrow = T)
 colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
 rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")
 
 #MASSパッケージを読み込む 
 library(MASS)
 (yahari.ca<-corresp(yahari,nf=3))
 biplot(yahari.ca)
 
 #固有値
 固有値<-yahari.ca$cor^2　
 round(固有値,3)
 #累積寄与率
 round(100*固有値/sum(固有値),2)


参考リンク：[[Ｒと対応分析>http://www1.doshisha.ac.jp/~mjin/R/Chap_26/26.html]]

-玉葱の表記

 negi<-matrix(c(
 42,93,2,129,90,7,0,1,12,23,47,0,
 33,36,0,65,87,6,4,36,11,0,61,6,
 5,30,5,33,9,1,0,1,8,0,2,0,
 97,336,0,215,225,39,0,3,15,0,92,4,
 3,23,0,31,86,0,3,0,0,0,28,2
 ) ,5,12,byrow = T)
 colnames(negi)<-c("P雑誌","P書籍","P新聞","L書籍","ブログ","ベストセラー","韻文","教科書","広報誌","国会会議録","知恵袋","白書")
 rownames(negi)<-c("タマネギ","たまねぎ","玉ネギ","玉ねぎ","玉葱")
 
 library(MASS)
 (negi.ca<-corresp(negi,nf=5))
 biplot(negi.ca)
 
 固有値<-negi.ca$cor 2　
 round(固有値,3)
 #累積寄与率
 round(100*固有値/sum(固有値),2)


-コーパス研究での利用例：http://www.hino.meisei-u.ac.jp/is/oishi/Metaphor/JCLA12.pdf


***発表順




**2017/10/12　（前期の復習）中納言による検索と集計 ／ Rを使ってみる

***（前期の復習）中納言による検索と集計
-前期 [[東京外大2017/JapanStudies1]] の復習
--BCCWJの形態論情報
--「中納言」の検索方法
--ピボットテーブルによる検索結果の集計


***Rを使ってみる
-[[R>https://ja.wikipedia.org/wiki/R%E8%A8%80%E8%AA%9E]]とは
--Rのダウンロード https://cran.ism.ac.jp/bin/windows/base/


-中納言でBCCWJコアの語彙素「矢張り」を検索、語形別に集計

| |雑誌|書籍|新聞|ブログ|知恵袋|白書|
|ヤッパ|1|2||9|4||
|ヤッパリ|20|12|1|30|23||
|ヤハリ|31|54|13|17|31|2|

***独立性の検定(χ二乗検定)
-ブログと知恵袋で「やはり」「やっぱり」「やっぱ」の使われ方に差はあるか

 data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T)
 
 chisq.test(data)

帰無仮説（H0）：二つのレジスターで「やはり」類の使用頻度には差がない

検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される ＝二つのレジスターで差がある（レジスターと関係がないのに偶然こうなる可能性は5%以下）

-参考：
http://mjin.doshisha.ac.jp/R/Chap_12/12.html
-参考：
http://www.weblio.jp/content/%E7%8B%AC%E7%AB%8B%E6%80%A7%E3%81%AE%E6%A4%9C%E5%AE%9A

-参考：
http://d.hatena.ne.jp/himaginary/20170829/Redefine_Statistical_Significance

***クラスター分析
-参考：https://www.albert2005.co.jp/knowledge/data_mining/cluster/hierarchical_clustering

--「やはり」「やっぱり」「やっぱ」の使用から見たレジスター間の距離（どのレジスター同士が似ているか）

 yahari<-matrix(c(
 1,2,0,9,4,0,
 20,12,1,30,23,0,
 31,54,13,17,31,2
 )
 ,3,6,byrow = T)
 colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
 rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")
 
 yahari <- t(yahari) #行と列を入れ替え
 yahari.d<-dist(yahari) #距離の計算
 yahari.d
 
 result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析
 plot(result,hang=-1) #デンドログラムを描く
 


-参考：http://mjin.doshisha.ac.jp/R/Chap_28/28.html


#amazon(4274065707)


#clear

**2017/10/05　イントロダクション

-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
-コーパス
--[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]]
--[[「現代日本語書き言葉均衡コーパス（BCCWJ）」>http://pj.ninjal.ac.jp/corpus_center/bccwj/]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
-ツール
--[[Web茶まめ>http://chamame.ninjal.ac.jp]]
---[[MeCab>http://taku910.github.io/mecab/]]
---[[UniDic>https://ja.osdn.net/projects/unidic/]]
--[[茶器 Chaki.NET>https://ja.osdn.net/projects/chaki/]]
--[[R>https://www.r-project.org/]]

***[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=2016%B8%E5%B4%FC%A1%A6%C5%EC%B5%FE%B3%B0%B9%F1%B8%EC%C2%E7%B3%D8%B6%B5%CC%B3%A5%B7%A5%B9%A5%C6%A5%E0%20-%2053M0862-Japan%20Studies%20%A3%B2.pdf&refer=%C5%EC%B5%FE%B3%B0%C2%E72016%2F%B8%E5%B4%FC]]より
: 講義・演習の別 | 演習
: 授業の目標 | 日本語コーパスを研究に&#63965;用することができるようになるためのやや高&#64001;な知&#63996;と技術を身につける。
: 授業の概要 | 日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を&#63965;用した調査研究と発表を行う。
: 授業の計画 | 実際にコーパスを&#63965;用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを&#63965;用したデータの処&#63972;、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。
最初に講義形式でコーパスの&#63965;用法を説明した後は、毎回参加者による演習発表形式で授業を&#64008;う。
: 成績の評価 | 授業態&#64001;・期末レポート等を総合して評価する。
: 事前学習等 | 担当教員の前期の授業（Japan Studies １）を&#63967;修するなどして日本語コーパスの基本的な&#63965;用方法を身につけておくこと。
トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS