東京外大2017

Japan Studies 2:コーパス日本語学入門

  • 秋学期・木曜4限
  • ogiso@ogiso.net ←@を@に直してください

2017/10/19 Rを使ってみる(2)対応分析

  • 多変量解析
    • 対応分析=コレスポンデンス分析

クロス集計表からのコレスポンデンス分析

  • 「やはり」「やっぱり」「やっぱ」とレジスター
yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")

#MASSパッケージを読み込む 
library(MASS)
(yahari.ca<-corresp(yahari,nf=3))
biplot(yahari.ca)

#固有値
固有値<-yahari.ca$cor^2 
round(固有値,3)
#累積寄与率
round(100*固有値/sum(固有値),2)

参考リンク:Rと対応分析

  • 玉葱の表記
negi<-matrix(c(
42,93,2,129,90,7,0,1,12,23,47,0,
33,36,0,65,87,6,4,36,11,0,61,6,
5,30,5,33,9,1,0,1,8,0,2,0,
97,336,0,215,225,39,0,3,15,0,92,4,
3,23,0,31,86,0,3,0,0,0,28,2
) ,5,12,byrow = T)
colnames(negi)<-c("P雑誌","P書籍","P新聞","L書籍","ブログ","ベストセラー","韻文","教科書","広報誌","国会会議録","知恵袋","白書")
rownames(negi)<-c("タマネギ","たまねぎ","玉ネギ","玉ねぎ","玉葱")

library(MASS)
(negi.ca<-corresp(negi,nf=5))
biplot(negi.ca)

固有値<-negi.ca$cor 2 
round(固有値,3)
#累積寄与率
round(100*固有値/sum(固有値),2)

発表順

2017/10/12 (前期の復習)中納言による検索と集計 / Rを使ってみる

(前期の復習)中納言による検索と集計

  • 前期 東京外大2017/JapanStudies1 の復習
    • BCCWJの形態論情報
    • 「中納言」の検索方法
    • ピボットテーブルによる検索結果の集計

Rを使ってみる

  • 中納言でBCCWJコアの語彙素「矢張り」を検索、語形別に集計
雑誌書籍新聞ブログ知恵袋白書
ヤッパ1294
ヤッパリ201213023
ヤハリ31541317312

独立性の検定(χ二乗検定)

  • ブログと知恵袋で「やはり」「やっぱり」「やっぱ」の使われ方に差はあるか
data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T)

chisq.test(data)

帰無仮説(H0):二つのレジスターで「やはり」類の使用頻度には差がない

検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される =二つのレジスターで差がある(レジスターと関係がないのに偶然こうなる可能性は5%以下)

クラスター分析

  • 「やはり」「やっぱり」「やっぱ」の使用から見たレジスター間の距離(どのレジスター同士が似ているか)
yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")

yahari <- t(yahari) #行と列を入れ替え
yahari.d<-dist(yahari) #距離の計算
yahari.d

result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析
plot(result,hang=-1) #デンドログラムを描く

2017/10/05 イントロダクション

シラバスより

講義・演習の別
演習
授業の目標
日本語コーパスを研究に利用することができるようになるためのやや高度な知識と技術を身につける。
授業の概要
日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を利用した調査研究と発表を行う。
授業の計画
実際にコーパスを利用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを利用したデータの処理、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。 最初に講義形式でコーパスの利用法を説明した後は、毎回参加者による演習発表形式で授業を行う。
成績の評価
授業態度・期末レポート等を総合して評価する。
事前学習等
担当教員の前期の授業(Japan Studies 1)を履修するなどして日本語コーパスの基本的な利用方法を身につけておくこと。

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS