コーパス言語学入門・日本語コーパスの活用


2016/12/16

形態素解析の実際

インストールと利用のデモ

#amazon(4254516029)

形態素解析結果の利用

テキストの性質に関する古典的な指標とその出し方

形態素解析結の応用

Rを使ってみる

雑誌書籍新聞ブログ知恵袋白書
ヤッパ1294
ヤッパリ201213023
ヤハリ31541317312

独立性の検定(χ二乗検定)

data <- matrix(c( 9,4,30,23,17,31), ncol=2, byrow=T)

chisq.test(data)

帰無仮説(H0):二つのレジスターと「やはり」類の使用頻度には差がない

検定の結果、p<0.05であれば0.05(= 5%)水準でH0は棄却される =二つのレジスターに差がある(レジスターと関係がないのに偶然こうなる可能性は5%以下)

クラスター分析

yahari<-matrix(c(
1,2,0,9,4,0,
20,12,1,30,23,0,
31,54,13,17,31,2
)
,3,6,byrow = T)
colnames(yahari)<-c("雑誌","書籍","新聞","ブログ","知恵袋","白書")
rownames(yahari)<-c("ヤッパ","ヤッパリ","ヤハリ")

yahari <- t(yahari) #行と列を入れ替え
yahari.d<-dist(yahari) #距離の計算
yahari.d

result <- hclust(yahari.d, method="ward.D") #word法でクラスター分析
plot(result,hang=-1) #デンドログラムを描く

2016/12/09

自分用のミニコーパスを自分で作る

(テキストデータは別途用意するのを前提として)

  1. プレーンテキスト:テキストエディタ(grepと正規表現) →前回
  2. 構造化テキスト(旧「太陽コーパス」など):XMLと「ひまわり」  →今回
  3. 形態素解析済みテキスト(BCCWJ,CHJなど):「中納言」相当←自分で作るには、Web茶まめ・ChaKi.net

XMLとひまわり

ひまわり

全文検索システム「ひまわり」について

2016/12/02

調整頻度の計算

ランダムサンプリング調査

大量に用例があり、調査内容から全てをすべて対象にできない(全てを調査する必要がない)場合

重複の削除

用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合

テキストエディタと正規表現

授業用サクラエディタのダウンロード

(正規表現ライブラリ同梱)

サンプルテキスト

正規表現

正規表現に関する参考資料

#amazon(4873114500) #amazon(4873113598)

2016/11/25

復習:「中納言」検索結果のダウンロードとExcelでの利用

複数の検索結果の結合

ショートカットキーを活用すると便利

  1. 表をコピー
    • Ctrl+Home, ↓(列名はコピーしないようにする),Shift+Ctrl+End, Ctrl+C
  2. コピーした表を既存の表の下に貼り付け
    • Ctrl+End, Home, ↓, Ctrl+V, Ctrl+Home

授業資料/覚えておきたいショートカットキー

集計用の列を自分で用意する

Excelの文字列関数とIF関数

【補足】Excelの文字列関数とIF関数

BCCWJ利用の落とし穴

2016/11/18

「中納言」の利用・続き

検索条件式の利用

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

「中納言」検索結果のダウンロードとExcelでの利用

2016/11/11

(休講) シカゴに出張していました。

2016/10/28

補足

「中納言」の利用続き

2016/10/21

(復習)

コーパスへの形態論情報の付与

形態素解析:「Mecab」と「UniDic」

形態素解析とは

どんなものか



morph.png

形態素解析用ソフトウェア

以前から使われているソフトウェア

UniDicの特長

  1. 見出し語が短単位という斉一な単位に揃えられている
  2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
  3. アクセントや音変化の情報を付与することができる
  4. 語種など言語研究のための豊富な情報が付与されている

比較的新しい形態素解析器

形態素解析に関する専門書

(参考)長単位解析器

※BCCWJの長単位を付けるのに使われた。短単位を組み上げて品詞を長単位規定に合わせることができる

(参考)係り受け解析器

※BCCWJには係り受け情報は付いていない。NWJCは自動解析した係り受け情報付き

最近の動向

長単位解析器

係り受け解析器

参考図書

#amazon(4254516010,left) #amazon(4254516029,left) #amazon(479812852X,left) #amazon(4339024511,left) #amazon(4873114705,left) #amazon(4339027510,left)

2016/10/14

(前回補足)コーパスの設計とサンプリング

XMLによる電子化

形態論情報

2016/10/7

「コーパス」について

狭義のコーパス
言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
  • 現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ)
広義のコーパス
コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
  • さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
  • Web上のデータ
    • 検索サイトの利用
    • WAC(Web as Corpus)

紙の資料からコーパスまで (日本語研究資料の変遷)

  1. (紙の)本文
  2. (紙の)総索引(コンコーダンス)
  3. 各種の電子テキスト
  4. 構造化テキスト
  5. 形態論情報付きコーパス

コーパスに求められるもの

コーパスの設計とサンプリング

参考リンク

2016/9/30

イントロダクション/日本語コーパスの紹介

「中納言」オンライン利用申込み


*1 「。」が複数ある場合の処理があるので難しい。「~」は前文脈に決して出現しない文字を指定
*2 最新版はMeCab版のみ
*3 現在では動かすのがたいへん

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS