- 追加された行はこの色です。
- 削除された行はこの色です。
[[東京外大2017]]
*Japan Studies 2:コーパス日本語学入門
-秋学期・木曜4限
-ogiso@ogiso.net ←@を@に直してください
----
-[[コーパス検索アプリケーション「中納言」 https://chunagon.ninjal.ac.jp/>https://chunagon.ninjal.ac.jp/]]
**2017/11/2 対応分析(コレスポンデンス分析)
***前回補足・タグ付き正規表現
***対応分析
-多変量解析
--''対応分析''=コレスポンデンス分析
-https://www.ic.nanzan-u.ac.jp/~urakami/pdf/RpdfW/v95_22w.pdf
***クロス集計表からのコレスポンデンス分析
-「やはり」「やっぱり」「やっぱ」とレジスター
yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")
#MASSパッケージを読み込む
library(MASS)
(yahari.ca<-corresp(yahari,nf=3))
biplot(yahari.ca)
#固有値
固有値<-yahari.ca$cor^2
round(固有値,3)
#累積寄与率
round(100*固有値/sum(固有値),2)
参考リンク:[[Rと対応分析>http://www1.doshisha.ac.jp/~mjin/R/Chap_26/26.html]]
-玉葱の表記
***データをファイルから読み込む
negi<-matrix(c(
42,93,2,129,90,7,0,1,12,23,47,0,
33,36,0,65,87,6,4,36,11,0,61,6,
5,30,5,33,9,1,0,1,8,0,2,0,
97,336,0,215,225,39,0,3,15,0,92,4,
3,23,0,31,86,0,3,0,0,0,28,2
) ,5,12,byrow = T)
colnames(negi)<-c("P雑誌","P書籍","P新聞","L書籍","ブログ","ベストセラー","韻文","教科書","広報誌","国会会議録","知恵袋","白書")
rownames(negi)<-c("タマネギ","たまねぎ","玉ネギ","玉ねぎ","玉葱")
library(MASS)
(negi.ca<-corresp(negi,nf=5))
biplot(negi.ca)
固有値<-negi.ca$cor 2
round(固有値,3)
#累積寄与率
round(100*固有値/sum(固有値),2)
-コーパス研究での利用例:http://www.hino.meisei-u.ac.jp/is/oishi/Metaphor/JCLA12.pdf
//
//-玉葱の表記
//
// negi<-matrix(c(
// 42,93,2,129,90,7,0,1,12,23,47,0,
// 33,36,0,65,87,6,4,36,11,0,61,6,
// 5,30,5,33,9,1,0,1,8,0,2,0,
// 97,336,0,215,225,39,0,3,15,0,92,4,
// 3,23,0,31,86,0,3,0,0,0,28,2
// ) ,5,12,byrow = T)
// colnames(negi)<-c("P雑誌","P書籍","P新聞","L書籍","ブログ","ベストセラー","韻文","教科書","広報誌","国会会議録","知恵袋","白書")
// rownames(negi)<-c("タマネギ","たまねぎ","玉ネギ","玉ねぎ","玉葱")
//
// library(MASS)
// (negi.ca<-corresp(negi,nf=5))
// biplot(negi.ca)
//
// 固有値<-negi.ca$cor 2
// round(固有値,3)
// #累積寄与率
// round(100*固有値/sum(固有値),2)
//
**2017/10/26 テキストデータとエディタ
***テキストエディタと正規表現
-初心者におすすめの正規表現に対応したテキストエディタ(フリー)
--Windows: Sakura Editor
---http://sakura-editor.sourceforge.net/
--Mac: Mi
---http://www.mimikaki.net/
***授業用サクラエディタのダウンロード
-サクラエディタ(正規表現ライブラリ同梱) [[sakura2.zip>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=sakura2.zip&refer=%C0%AE%EC%FE2017%2F%C6%FC%CB%DC%B8%EC%C6%FC%CB%DC%CA%B8%B3%D8%A4%CE%A4%BF%A4%E1%A4%CE%A5%B3%A5%F3%A5%D4%A5%E5%A1%BC%A5%BF]]
-サンプルテキスト
[[soseki2.zip>https://www.dropbox.com/s/gw1j25svf2s9tki/soseki2.zip?dl=1]]
***テキストエディタの基礎
-検索・置換、grep
--検索で初出行を調べる
--置換で用例数を数える
--grepで用例リストを作る
--タグジャンプで文脈を確認する
--サブフォルダのgrep
-[[授業資料/覚えておきたいショートカットキー]]
***正規表現
-''正規表現'' [[>用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]]
--文字を表すための特殊な文字(メタ文字)を使って文字列のパターンを表現する
--エディタでは置換・検索・grepで利用できる (エディタ以外にもさまざまなアプリケ-ションやコンピュータ言語で利用されている)
--特殊な文字(メタ文字)はすべて半角
//--特殊な文字そのものを表す場合には\でエスケープする(特殊な意味を打ち消す) 例:1\+2
-[[授業資料/正規表現]]
***正規表現に関する参考資料 [#w86de08b]
-サクラエディタの正規表現:http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
-正規表現に関する本 [[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__mk_ja_JP=%83J%83%5E%83J%83i&url=search-alias%3Daps&field-keywords=%90%B3%8BK%95%5C%8C%BB&Go.x=0&Go.y=0&Go=Go]]
#amazon(4873114500)
#amazon(4873113598)
#clear
**2017/10/19 Rを使ってみる(2)
-Rの使い方全般に関する参考資料:[[[連載]フリーソフトによるデータ解析・マイニング (同志社大・金明哲先生)>ftp://tech.obihiro.ac.jp/suzuki/mjin_R.pdf]]
***発表順
***前回までの復習
-クラスター分析
**2017/10/12 (前期の復習)中納言による検索と集計 / Rを使ってみる
***(前期の復習)中納言による検索と集計
-前期 [[東京外大2017/JapanStudies1]] の復習
--BCCWJの形態論情報
--「中納言」の検索方法
--ピボットテーブルによる検索結果の集計
***Rを使ってみる
-[[R>https://ja.wikipedia.org/wiki/R%E8%A8%80%E8%AA%9E]]とは
--Rのダウンロード https://cran.ism.ac.jp/bin/windows/base/
-中納言でBCCWJコアの語彙素「矢張り」を検索、語形別に集計
| |雑誌|書籍|新聞|ブログ|知恵袋|白書|
|ヤッパ|1|2||9|4||
|ヤッパリ|20|12|1|30|23||
|ヤハリ|31|54|13|17|31|2|
***独立性の検定(χ二乗検定)
-ブログと知恵袋で「やはり」「やっぱり」「やっぱ」の使われ方に差はあるか
data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T)
chisq.test(data)
帰無仮説(H0):二つのレジスターで「やはり」類の使用頻度には差がない
検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される =二つのレジスターで差がある(レジスターと関係がないのに偶然こうなる可能性は5%以下)
-参考:
http://mjin.doshisha.ac.jp/R/Chap_12/12.html
-参考:
http://www.weblio.jp/content/%E7%8B%AC%E7%AB%8B%E6%80%A7%E3%81%AE%E6%A4%9C%E5%AE%9A
-参考:
http://d.hatena.ne.jp/himaginary/20170829/Redefine_Statistical_Significance
***クラスター分析
-参考:https://www.albert2005.co.jp/knowledge/data_mining/cluster/hierarchical_clustering
--「やはり」「やっぱり」「やっぱ」の使用から見たレジスター間の距離(どのレジスター同士が似ているか)
yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")
yahari <- t(yahari) #行と列を入れ替え
yahari.d<-dist(yahari) #距離の計算
yahari.d
result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析
plot(result,hang=-1) #デンドログラムを描く
-参考:http://mjin.doshisha.ac.jp/R/Chap_28/28.html
#amazon(4274065707)
#clear
**2017/10/05 イントロダクション
-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
-コーパス
--[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]]
--[[「現代日本語書き言葉均衡コーパス(BCCWJ)」>http://pj.ninjal.ac.jp/corpus_center/bccwj/]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
-ツール
--[[Web茶まめ>http://chamame.ninjal.ac.jp]]
---[[MeCab>http://taku910.github.io/mecab/]]
---[[UniDic>https://ja.osdn.net/projects/unidic/]]
--[[茶器 Chaki.NET>https://ja.osdn.net/projects/chaki/]]
--[[R>https://www.r-project.org/]]
***[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=2016%B8%E5%B4%FC%A1%A6%C5%EC%B5%FE%B3%B0%B9%F1%B8%EC%C2%E7%B3%D8%B6%B5%CC%B3%A5%B7%A5%B9%A5%C6%A5%E0%20-%2053M0862-Japan%20Studies%20%A3%B2.pdf&refer=%C5%EC%B5%FE%B3%B0%C2%E72016%2F%B8%E5%B4%FC]]より
: 講義・演習の別 | 演習
: 授業の目標 | 日本語コーパスを研究に利用することができるようになるためのやや高度な知識と技術を身につける。
: 授業の概要 | 日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を利用した調査研究と発表を行う。
: 授業の計画 | 実際にコーパスを利用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを利用したデータの処理、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。
最初に講義形式でコーパスの利用法を説明した後は、毎回参加者による演習発表形式で授業を行う。
: 成績の評価 | 授業態度・期末レポート等を総合して評価する。
: 事前学習等 | 担当教員の前期の授業(Japan Studies 1)を履修するなどして日本語コーパスの基本的な利用方法を身につけておくこと。