東京外大2016

Japan Studies 2:日本語コーパスの活用


アクティブラーニングについて

(今後、これ以外のイベントも紹介します)

レポートについて

残り

2017/01/05 演習発表Ⅶ

前回補足(ひまわりによる既存のデータの活用)

形態素解析の利用

インストールと利用のデモ

#amazon(4254516029)

テキストの性質に関する古典的な指標とその出し方

形態素解析結果を利用するツール

テキスト処理のレベルとツール

処理形態素解析(短単位)→(長単位解析)→文節係り受け解析→解析結果の管理・利用
BCCWJの場合MeCab(解析器)+UniDic(辞書)→Comainu→(大納言→)中納言
一般向けツールMeCabなど(解析器)+UniDicなど(辞書)
Web茶まめ→
(Comainu)→(CaboCha)→Chaki.net

2016/12/22 演習発表Ⅶ

自分用のミニコーパスを作る

(テキストデータは別途用意するのを前提として)

  1. プレーンテキスト:テキストエディタ(grepと正規表現) →今回
  2. 構造化テキスト(旧「太陽コーパス」など):XMLと「ひまわり」  →今回
  3. 形態素解析済みテキスト(BCCWJ,CHJなど):「中納言」相当←自分で作るには、Web茶まめ・ChaKi.net

プレーンテキストのミニコーパス

テキストエディタと正規表現

授業用サクラエディタのダウンロード

(正規表現ライブラリ同梱)

サンプルテキスト

正規表現

正規表現に関する参考資料

#amazon(4873114500) #amazon(4873113598)

構造化テキストのミニコーパス

XMLとひまわり

ひまわり

全文検索システム「ひまわり」について

テキストデータを「ひまわり」で利用できるようにする

2016/12/15 演習発表Ⅵ

(ミニコーパス作成に向けて)

2016/12/08 演習発表Ⅴ

2016/12/01 演習発表Ⅳ

vlookup関数

自分で作ったミニデータベースを検索して値を取り出すようなことができる関数

コロケーション強度

単に頻度をみるのではなく、2つの語が本当に共起しやすいのかを図る指標

2016/11/24 (休み)外語祭

2016/11/17 演習発表Ⅲ

(アルバイト募集)

(前回補足コメント)

クロス集計表からのコレスポンデンス分析

yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")

#MASSパッケージを読み込む 
library(MASS)
(yahari.ca<-corresp(yahari,nf=3))
biplot(yahari.ca)

#固有値
固有値<-yahari.ca$cor^2 
round(固有値,3)
#累積寄与率
round(100*固有値/sum(固有値),2)

参考リンク:Rと対応分析

2016/11/10 休講

2016/10/27 演習発表Ⅱ

バ行ヴァ行

キー: (語彙素="バイオリン" OR 語彙素="バイオレット" OR 語彙素="バイタリティ" OR
語彙素="バイキング" OR 語彙素="バカンス" OR 語彙素="バチカン" OR 語彙素="バニラ" OR
語彙素="バラエティ" OR 語彙素="バリエーション" OR 語彙素="バリュー" OR
語彙素="ビーナス" OR 語彙素="ビオラ" OR 語彙素="ビザ" OR 語彙素="ベール" OR 
語彙素="ベテラン" OR 語彙素="ベトナム" OR 語彙素="バージン"); 

2016/10/20 演習発表Ⅰ

2016/10/13 Rを使ってみる / 研究例紹介

雑誌書籍新聞ブログ知恵袋白書
ヤッパ1294
ヤッパリ201213023
ヤハリ31541317312

独立性の検定(χ二乗検定)

data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T)

chisq.test(data)

帰無仮説(H0):二つのレジスターと「やはり」類の使用頻度には差がない

検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される =二つのレジスターに差がある(レジスターと関係がないのに偶然こうなる可能性は5%以下)

クラスター分析

yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")

yahari <- t(yahari) #行と列を入れ替え
yahari.d<-dist(yahari) #距離の計算
yahari.d

result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析
plot(result,hang=-1) #デンドログラムを描く

研究紹介

#amazon(4274065707)

2016/10/06 イントロダクション

シラバスより

講義・演習の別
演習
授業の目標
日本語コーパスを研究に利用することができるようになるためのやや高度な知識と技術を身につける。
授業の概要
日本語コーパスを活用するための技術、統計的指標や手法について講義する。参加者は実際にコーパスとこれらの技術を利用した調査研究と発表を行う。
授業の計画
実際にコーパスを利用する演習発表をとおして、コロケーションや特徴語抽出のための指標、クラスタリングや主成分分析などの統計的手法、関係データベースを利用したデータの処理、ミニコーパスを自作する方法など、コーパスを研究に活用するための方法について学ぶ。 最初に講義形式でコーパスの利用法を説明した後は、毎回参加者による演習発表形式で授業を行う。
成績の評価
授業態度・期末レポート等を総合して評価する。
事前学習等
担当教員の前期の授業(Japan Studies 1)を履修するなどして日本語コーパスの基本的な利用方法を身につけておくこと。

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS