[[東京外大2017]]

*Japan Studies 2:コーパス日本語学入門

-秋学期・木曜4限
-ogiso@ogiso.net ←@を@に直してください

----

-[[コーパス検索アプリケーション「中納言」 https://chunagon.ninjal.ac.jp/>https://chunagon.ninjal.ac.jp/]]

**アクティブラーニングについて
-次のいずれかの課題を行って【1月25日まで】に報告してください
++次の国語研イベントへの参加(予定も含む)
-次のいずれかの課題の参加予定について【1月25日まで】に報告してください
++次の国語研イベントへの参加
---https://www.ninjal.ac.jp/event/specialists/project-meeting/
++講習会「ミニコーパスを作る」
---2月1日(木)13:30~(16:00)  206PC教室
++コーパスと多変量解析に関する課題
---希望者に課題をメールでお知らせします。


**レポートについて
-この授業で紹介したコーパスや分析手法を活用した日本語研究
--〆切:1月25日(木)
--枚数:A4用紙で4枚以上~20枚以下
--メールで提出


**2018/1/18 ミニコーパスを作る(2) / レポートについて

-自分で利用したテキストデータがあれば用意してきてください。

-ひまわり用データについて(補足)
--[[近代雑誌のコーパス>http://pj.ninjal.ac.jp/corpus_center/cmj/]](現在ではCHJに包含)
--青空文庫 [[ひまわり用「青空文庫」パッケージ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%A5%C0%A5%A6%A5%F3%A5%ED%A1%BC%A5%C9%2F%A1%D8%C0%C4%B6%F5%CA%B8%B8%CB%A1%D9%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8]]
--[[「国会会議録」パッケージ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%A5%C0%A5%A6%A5%F3%A5%ED%A1%BC%A5%C9%2F%A1%D8%B9%F1%B2%F1%B2%F1%B5%C4%CF%BF%A1%D9%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8]]



-インポート機能でXMLファイルとひまわり用データを自動生成する
--サンプルテキスト
 [[soseki2.zip>https://www.dropbox.com/s/gw1j25svf2s9tki/soseki2.zip?dl=1]]


-インポート機能で自動生成したXMLを修正する
--属性の付与
--設定ファイルの修正
--再インデックス


**日本語のテキストの性質に関する古典的な指標とその出し方
-語種比率
-TTR (Type Token Ratio)延べ異なり比
-名詞率
-MVR (Modifier / Verb Ratio)
--[[樺島忠夫, 寿岳章子『文体の科学』1965年>http://iss.ndl.go.jp/books/R100000039-I000811523-00]]
-平均文長


**2018/1/11 発表 第7回 / ミニコーパスを作る

***自分用のミニコーパスを作る
(テキストデータは別途用意するのを前提として)

-日本語コーパスのタグ付けのレベル
|~テキストのレベル|ツール|必要な技術|h
|~プレーンテキスト|テキストエディタ|grepと正規表現|
|~構造化テキスト|ひまわり→ Excel|XML・マークアップの基礎,ピボットテーブル|
|~形態素解析済みテキスト|UniDic+MeCab→中納言・ChaKi|形態素解析の知識,ChaKiの使い方|

+プレーンテキスト:テキストエディタ(grepと正規表現)
+構造化テキスト(旧「太陽コーパス」など):XMLと「ひまわり」
+形態素解析済みテキスト(BCCWJ,CHJなど):「中納言」相当←自分で作るには、Web茶まめ・ChaKi.net


**プレーンテキストのミニコーパス
- ->(2017/10/26 テキストデータとエディタ)【済】

**構造化テキストのミニコーパス

***XMLとひまわり
-[[XML>https://ja.wikipedia.org/wiki/Extensible_Markup_Language]]
--独自のタグが定義できる汎用のマークアップ言語
--多くのコーパスがXMLで記述されている。
---「現代日本語書き言葉均衡コーパス」(BCCWJ)も「日本語歴史コーパス」もソースはXML cf.[[BCCWJのタグセット>http://pj.ninjal.ac.jp/corpus_center/bccwj/XML.html]]

***ひまわり
-[[全文検索システム「ひまわり」>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]]
-ただのテキストファイル(プレーンテキスト)ではなく、XML形式にして、インデックスを付けた専用のデータを利用
-基本的に文字列検索のみ(携帯論情報付きデータの検索にはあまり向かない)
***全文検索システム「ひまわり」について
-[[ひまわり のダウンロードページ>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]]

***テキストデータを「ひまわり」で利用できるようにする
-[[XMLファイルを自分で作る>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A1]]
-[[インポート機能をつかって簡単に作る>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9%2F%B4%CA%C3%B1%A4%CA%B8%A1%BA%F7%CD%D1%A5%C7%A1%BC%A5%BF%A4%CE%BA%EE%C0%AE%CA%FD%CB%A12]]


**2017/12/21 発表 第6回 / 主成分分析
-2件

***主成分分析の解説
-(参考リンク)主成分分析 - 統計科学研究所
--http://www.statistics.co.jp/reference/software_R/statR_9_principal.pdf
-(参考リンク)主成分分析の考え方 | Logics of Blue
--https://logics-of-blue.com/principal-components-analysis/
-(参考リンク)はじめよう多変量解析~主成分分析編~
--https://www.slideshare.net/sanoche16/tokyor31-22291701

-日本語コーパスと主成分分析を利用した研究例
--http://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/P3-18.pdf
--https://www.slideshare.net/jnlp/14-nlp-matsuda


***コーパスと統計的手法に関する参考資料
-(参考リンク)「統計処理環境Rで学ぶ 言語研究のための統計入門」
--https://www.slideshare.net/corpusling/basic-stat
-(参考文献)
--石川慎一郎・前田忠彦・山崎誠(編)(2010) 『言語研究のための統計入門』くろしお出版


**2017/12/14 発表 第5回
-2件

**2017/12/7 発表 第4回
-3件


//***(Excel) VLOOKUP関数
//自分で作ったミニデータベースを検索して値を取り出すようなことができる関数
//
//-[[授業資料/vlookup関数]]
//
//***コロケーション強度
//単に頻度をみるのではなく、2つの語が本当に共起しやすいのかを図る指標を使う
//
//-[[授業資料/コロケーション強度]]
//

**2017/11/30 発表 第3回

***特徴語抽出
特定のサブコーパスに特有の語彙を抽出するための指標を使う

-[[授業資料/対数尤度比による特徴語抽出]]


***(ミニコーパス作成に向けて)
-[[Web茶まめ>http://unidic.ninjal.ac.jp/chamame/]]
-語種比率
-延べ語数異なり語数比率
--Type Token Raio
--ピボットテーブルでの計算

***[[ジップ(Zipf)の法則>https://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%83%E3%83%97%E3%81%AE%E6%B3%95%E5%89%87]]
--順位×頻度≒定数

***特徴語抽出


**2017/11/16 発表 第2回

-http://unidic.ninjal.ac.jp/chamame/



**2017/11/9 発表 第1回


**2017/11/2 対応分析(コレスポンデンス分析)

***前回補足・タグつき正規表現

-[[授業資料/タグつき正規表現]]

***対応分析

-多変量解析
--''対応分析''=コレスポンデンス分析

-https://www.ic.nanzan-u.ac.jp/~urakami/pdf/RpdfW/v95_22w.pdf

-https://www.macromill.com/service/data_analysis/d010.html

***クロス集計表からのコレスポンデンス分析
-「やはり」「やっぱり」「やっぱ」とレジスター

 yahari<-matrix(c(
 1,2,0,9,4,0,
 20,12,1,30,23,0,
 31,54,13,17,31,2
 )
 ,3,6,byrow = T)
 colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
 rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")
 
 #MASSパッケージを読み込む 
 library(MASS)
 (yahari.ca<-corresp(yahari,nf=3))
 biplot(yahari.ca)
 
 #固有値
 固有値<-yahari.ca$cor^2 
 round(固有値,3)
 #累積寄与率
 round(100*固有値/sum(固有値),2)


参考リンク:[[Rと対応分析>http://www1.doshisha.ac.jp/~mjin/R/Chap_26/26.html]]

***データをファイルから読み込む

#ref(bccwjcore_adj_register.txt)

--↑右クリックしてファイルとしてデスクトップに保存

 setwd("C:/Users/ユーザー名/Desktop")
 x <- read.table("bccwjcore_adj_register.txt",
 header=T, row.names=1, sep=",", fileEncoding="UTF-8")
 
 #MASSパッケージを読み込む 
 library(MASS)
 (x.ca<-corresp(x, nf=6)) #nf=行と列の数の小さいほうの値からさらに1引いた値
 biplot(x.ca)


-自分でデータを作るときにはファイルの文字コード(fileEncoding)に注意!

-コーパス研究での利用例:http://www.hino.meisei-u.ac.jp/is/oishi/Metaphor/JCLA12.pdf

//
//-玉葱の表記
//
// negi<-matrix(c(
// 42,93,2,129,90,7,0,1,12,23,47,0,
// 33,36,0,65,87,6,4,36,11,0,61,6,
// 5,30,5,33,9,1,0,1,8,0,2,0,
// 97,336,0,215,225,39,0,3,15,0,92,4,
// 3,23,0,31,86,0,3,0,0,0,28,2
// ) ,5,12,byrow = T)
// colnames(negi)<-c("P雑誌","P書籍","P新聞","L書籍","ブログ","ベストセラー","韻文","教科書","広報誌","国会会議録","知恵袋","白書")
// rownames(negi)<-c("タマネギ","たまねぎ","玉ネギ","玉ねぎ","玉葱")
// 
// library(MASS)
// (negi.ca<-corresp(negi,nf=5))
// biplot(negi.ca)
// 
// 固有値<-negi.ca$cor 2 
// round(固有値,3)
// #累積寄与率
// round(100*固有値/sum(固有値),2)
//

**2017/10/26 テキストデータとエディタ

***テキストエディタと正規表現

-初心者におすすめの正規表現に対応したテキストエディタ(フリー)
--Windows: Sakura Editor
---http://sakura-editor.sourceforge.net/
--Mac: Mi
---http://www.mimikaki.net/

***授業用サクラエディタのダウンロード

-サクラエディタ(正規表現ライブラリ同梱) [[sakura2.zip>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=sakura2.zip&refer=%C0%AE%EC%FE2017%2F%C6%FC%CB%DC%B8%EC%C6%FC%CB%DC%CA%B8%B3%D8%A4%CE%A4%BF%A4%E1%A4%CE%A5%B3%A5%F3%A5%D4%A5%E5%A1%BC%A5%BF]]

-サンプルテキスト
 [[soseki2.zip>https://www.dropbox.com/s/gw1j25svf2s9tki/soseki2.zip?dl=1]]

***テキストエディタの基礎
-検索・置換、grep
--検索で初出行を調べる
--置換で用例数を数える
--grepで用例リストを作る
--タグジャンプで文脈を確認する
--サブフォルダのgrep

-[[授業資料/覚えておきたいショートカットキー]]

***正規表現

-''正規表現'' [[>用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]]
--文字を表すための特殊な文字(メタ文字)を使って文字列のパターンを表現する
--エディタでは置換・検索・grepで利用できる (エディタ以外にもさまざまなアプリケ-ションやコンピュータ言語で利用されている)
--特殊な文字(メタ文字)はすべて半角
//--特殊な文字そのものを表す場合には\でエスケープする(特殊な意味を打ち消す) 例:1\+2

-[[授業資料/正規表現]]

***正規表現に関する参考資料 [#w86de08b]
-サクラエディタの正規表現:http://sakura-editor.sourceforge.net/htmlhelp/HLP000089.html
-正規表現に関する本 [[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__mk_ja_JP=%83J%83%5E%83J%83i&url=search-alias%3Daps&field-keywords=%90%B3%8BK%95%5C%8C%BB&Go.x=0&Go.y=0&Go=Go]]

#amazon(4873114500)
#amazon(4873113598)
#clear



**2017/10/19 Rを使ってみる(2)

-Rの使い方全般に関する参考資料:[[[連載]フリーソフトによるデータ解析・マイニング (同志社大・金明哲先生)>ftp://tech.obihiro.ac.jp/suzuki/mjin_R.pdf]]

***発表順

***前回までの復習
-クラスター分析

**2017/10/12 (前期の復習)中納言による検索と集計 / Rを使ってみる

***(前期の復習)中納言による検索と集計
-前期 [[東京外大2017/JapanStudies1]] の復習
--BCCWJの形態論情報
--「中納言」の検索方法
--ピボットテーブルによる検索結果の集計


***Rを使ってみる
-[[R>https://ja.wikipedia.org/wiki/R%E8%A8%80%E8%AA%9E]]とは
--Rのダウンロード https://cran.ism.ac.jp/bin/windows/base/


-中納言でBCCWJコアの語彙素「矢張り」を検索、語形別に集計

| |雑誌|書籍|新聞|ブログ|知恵袋|白書|
|ヤッパ|1|2||9|4||
|ヤッパリ|20|12|1|30|23||
|ヤハリ|31|54|13|17|31|2|

***独立性の検定(χ二乗検定)
-ブログと知恵袋で「やはり」「やっぱり」「やっぱ」の使われ方に差はあるか

 data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T)
 
 chisq.test(data)

帰無仮説(H0):二つのレジスターで「やはり」類の使用頻度には差がない

検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される =二つのレジスターで差がある(レジスターと関係がないのに偶然こうなる可能性は5%以下)

-参考:
http://mjin.doshisha.ac.jp/R/Chap_12/12.html
-参考:
http://www.weblio.jp/content/%E7%8B%AC%E7%AB%8B%E6%80%A7%E3%81%AE%E6%A4%9C%E5%AE%9A

-参考:
http://d.hatena.ne.jp/himaginary/20170829/Redefine_Statistical_Significance

***クラスター分析
-参考:https://www.albert2005.co.jp/knowledge/data_mining/cluster/hierarchical_clustering

--「やはり」「やっぱり」「やっぱ」の使用から見たレジスター間の距離(どのレジスター同士が似ているか)

 yahari<-matrix(c(
 1,2,0,9,4,0,
 20,12,1,30,23,0,
 31,54,13,17,31,2
 )
 ,3,6,byrow = T)
 colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
 rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")
 
 yahari <- t(yahari) #行と列を入れ替え
 yahari.d<-dist(yahari) #距離の計算
 yahari.d
 
 result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析
 plot(result,hang=-1) #デンドログラムを描く
 


-参考:http://mjin.doshisha.ac.jp/R/Chap_28/28.html


#amazon(4274065707)


#clear

**2017/10/05 イントロダクション

-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
-コーパス
--[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]]
--[[「現代日本語書き言葉均衡コーパス(BCCWJ)」>http://pj.ninjal.ac.jp/corpus_center/bccwj/]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
-ツール
--[[Web茶まめ>http://chamame.ninjal.ac.jp]]
---[[MeCab>http://taku910.github.io/mecab/]]
---[[UniDic>https://ja.osdn.net/projects/unidic/]]
--[[茶器 Chaki.NET>https://ja.osdn.net/projects/chaki/]]
--[[R>https://www.r-project.org/]]

***[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=2016%B8%E5%B4%FC%A1%A6%C5%EC%B5%FE%B3%B0%B9%F1%B8%EC%C2%E7%B3%D8%B6%B5%CC%B3%A5%B7%A5%B9%A5%C6%A5%E0%20-%2053M0862-Japan%20Studies%20%A3%B2.pdf&refer=%C5%EC%B5%FE%B3%B0%C2%E72016%2F%B8%E5%B4%FC]]より
: 講義・演習の別 | 演習
: 授業の目標 | 日本語コーパスを研究に&#63965;用することができるようになるためのやや高&#64001;な知&#63996;と技術を身につける。
: 授業の概要 | 日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を&#63965;用した調査研究と発表を行う。
: 授業の計画 | 実際にコーパスを&#63965;用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを&#63965;用したデータの処&#63972;、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。
最初に講義形式でコーパスの&#63965;用法を説明した後は、毎回参加者による演習発表形式で授業を&#64008;う。
: 成績の評価 | 授業態&#64001;・期末レポート等を総合して評価する。
: 事前学習等 | 担当教員の前期の授業(Japan Studies 1)を&#63967;修するなどして日本語コーパスの基本的な&#63965;用方法を身につけておくこと。

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS