上智2014

コーパス日本語学入門

  • 前期・金曜4限
  • ogiso@ogiso.net ←@を@に直してください

期末レポートについて

  • 締切:7月31日(木)
  • 提出先:メールで直接送付(必ず返信を確認すること)
  • 分量:A4用紙で3〜10枚
  • メール・Wordファイルの両方に氏名・学籍番号を明記すること
    • Wordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ってください

2014/07/18 最終回

  • レポート完成に向けて作業を進めながら積極的に質問してください。

2014/07/11 休講

2014/07/04

Wordでレポートを書く

  • 文書の構造化*
    • スタイルと見出し
    • ナビゲーション ウィンドウ(見出しマップ)の使い方
    • 章・節番号
  • 図表の貼り込み*
    • 「形式を選択して貼り付け」
    • 図表番号とキャプション
  • 脚注
    • 脚注と文末脚注
  • 相互参照
    • 節番号、図表番号と相互参照
    • 目次、図表目次

レポート作成のためのコーパス検索・調査(2)

  • レポート完成に向けて作業を進めながら積極的に質問してください。

2014/06/27

  • レポートテーマについて

レポート作成のためのコーパス検索・調査(1)

考えてきたテーマについて、実際に用例を検索してレポート作成の準備を進めます。 積極的に質問して下さい。

  • 授業中、1億語全体の検索は極力避けて下さい。

2014/06/20

レポートテーマ案提出

  • BCCWJ中納言の契約書を返却します。
  • レポートテーマの案を提出してください。

形態素解析

形態素解析:「Mecab」と「UniDic」

形態素解析とは

  • 形態素解析の解析単位は言語学で言う「形態素」ではないことに注意
    • 「形態素解析」= "Morphological analysis"
    • morphologicalな(形態論上の)単位は形態素だけではない(訳語に問題がある)
    • 日本語の形態素解析の単位は一般に「語」(語をどう定義するかという問題は残る)
  • 形態素解析の仕組み
    • 生起コストと連接コスト
      • その語はどれくらい出てくるか、どんな語とつながりやすいか
      • コーパスから統計的に取得(機械学習)
    • 経路の選択(参考:ビタビアルゴリズム

morph.png

形態素解析用ソフトウェア

主なソフトウェア

茶まめ(解析用のお助けツール)

UniDicの特長

  1. 見出し語が短単位という斉一な単位に揃えられている
  2. 見出し語が階層化されており表記の揺れや語形の変異にかかわらず同一の見出しを与えることができる
  3. アクセントや音変化の情報を付与することができる
  4. 語種など言語研究のための豊富な情報が付与されている
  • UniDicはChaSen, MeCabのどちらの解析器でも利用可能*1
    • 後から開発されたMeCabの方が解析精度が高いのでおすすめ



授業用UniDic+MeCabパッケージのダウンロード

茶まめで形態素解析・Excelで集計

  1. 茶まめで解析してみる(解析器はMeCab+解析辞書はUniDic)
  2. Excelに出力する
  3. ピボットテーブルで集計する
  • テキストのジャンルと語種,品詞の割合をグラフ化してみる
    • ブログのテキストと新聞記事のテキストの解析結果を比較

2014/06/13

BCCWJ利用の落とし穴

  • BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
    • レジスターによって母集団の年が違っている
      • レジスターの偏りを年代の偏りと勘違いしないこと
    • 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ
  • もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
    • cf.人口あたりの事故件数,1平方キロあたりの…etc.

調整頻度の計算

  • 粗頻度を総語数で割る
    • レジスターごとの語数データ:中納言ページの「語数について」からExcelでダウンロードできる
      • 語数ファイルをピボットテーブルで集計して分母に
  • 調整頻度には100万語あたりの頻度が比較的よく使われる
    • 粗頻度/総語数*1000000
      • 数字が小さくなりすぎないようにするため
  • ※割合の違いを比較するだけなら調整頻度を出す必要はない。

ランダムサンプリング調査(Excelでの集計・補足)

  • 大量に用例があり、調査内容からすべて対象にできない場合
  • ランダムに並べ替え→先頭n例を調査対象に
    • ランダムな数字の列: =RAND()
    • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される
  • データ:「れる・られる」コアのみ(用法分類) kwic-rareru.zip

NINJAL LWP for BCCWJの紹介

  • http://nlb.ninjal.ac.jp/
  • ワードプロファイラー
  • 語の振る舞いの概略を見るのに手軽で便利
  • 注意点
    • UniDicの見出し語体系でない(=本来のBCCWJではない)
    • 自動係り受け解析結果は形態素解析以上に誤りが多い

レポートテーマについて

  • 次回までにレポートテーマを考えてくること(全員提出のこと)
  • 他の授業で取り上げられたテーマや普段から見聞きする言葉に気をつける
  • 図書館も活用すること
  • ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく

表記

  • 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
  • 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い?レジスター差?
  • 「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ

類義語・対義語

  • 「奇麗」と「美しい」・・・連体修飾する名詞の違い(→意味の違い)
  • 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
  • 「男性」と「女性」(「男」と「女」)・・・語彙の非対称性、社会言語学的分析

語形、語法

  • 「好ましい」「好もしい」・・・語形の揺れと文体差
  • 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件

新語・意味変化

  • 「断トツ」「定番」「夜ご飯」・・・新語の広がり
  • 「役不足」「確信犯」・・・”誤用”と”正用”

2014/06/06

Excelによる集計・つづき

Excelの文字列関数とIF関数

  • 例:ジャンル(NDC)の整理
    • 先頭の文字を取り出す(NDCの一次区分(=類))
      • =LEFT(<ジャンルのセル>,1)
    • スラッシュで区切られた最初の部分(ジャンルの大分類)
      • =LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)
  • 集計用に用意した列で文字列処理関数を利用する
    • LEFT
    • RIGHT
    • MID
    • LEN
    • SEARCH
    • SUBSTITUTE
  • 応用例:品詞の大分類を使う
    • =LEFT(<品詞>,SEARCH("-",<品詞>)-1)

2014/05/30

復習

  1. 「中納言」による検索
  2. Excelでインポート
  3. ピボットテーブルで集計

Excelの基礎

  • 並べ替え
    • 反転前文脈の使い方
  • フィルタ
    • テキストフィルタ

検索の例

  • 短単位で検索(unit="1")
キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"
キー: (語彙素="男性" OR 語彙素 = "女性") 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"
  • 以下は長単位で検索(unit="2")
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"
  • 「検索課題」配付資料

補足

2014/05/23

  • 資料「『中納言』の使い方」つづき 2.6〜

検索条件式の利用

キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" 
AND endOfLine="CRLF" AND tglKugiri="|" AND  encoding="UTF-8" AND tglFixVariable="2"

検索結果をExcelで利用する

  • 前回資料(4.)参照

「中納言」検索結果のダウンロードとExcelでの利用

  1. ダウンロード
  2. アーカイブの展開(解凍)
  3. Excelでインポート

【重要】ピボットテーブルの使い方

  • ピボットテーブル
  • ピボットグラフ

2014/5/16

「中納言」の利用:形態論情報を使った検索

  • 配布資料「『中納言』の使い方」
    • 1.3つの検索方法 〜 2.5ワイルドカード まで

2014/5/9

「中納言」利用申込み

  • 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

コーパスの形態論情報

短単位と長単位

  • (配付資料)参照
  • (スライド)参照

品詞体系

  • BCCWJはUniDicの品詞体系にもとづく
    • 形態論情報の例

UniDicの品詞体系

品詞分類

unidic_pos.png

活用型

unidic_cType.png

活用形

unidic_cForm.png

学校文法との主な違い

  • 品詞
    • 名詞-普通名詞-一般(大分類>中分類>小分類) のように階層化されている
    • 名詞-普通名詞-サ変可能 のように可能性に基づく品詞付与がなされている
  • 「形状詞」という品詞を立てている(=形容動詞語幹) 例:「奇麗」「愉快」
  • 活用型
    • 下一段-ア行(大分類>行分類(>小分類)) のように階層化されている
    • 五段-カ行-イク のように実際の活用にあわせてより細かく分類されている*2
  • 漢語サ変動詞を名詞(語幹)と動詞(「する」)に分割(学校文法では全体で1語の動詞として扱う) 例:「研究|する」
  • 動詞に助動詞「う」が付いた形を動詞の意志推量形(全体として1語)として扱う 例:「飲もう」

UniDic見出し語の階層構造

見出し語の階層構造

unidic_hierarchy.png

  • 語彙素:辞書の見出しのレベル
  • 語形:異語形を区別するレベル
  • 書字形:異表記を区別するレベル

各レベルが持つ情報*3

  • 語彙素レベル(語彙素・語彙素読み・語彙素細分類・語種)
    • 語形レベル(語形・品詞・活用型・活用形)
      • 書字形レベル(書字形・仮名形)
      • 発音形レベル(発音形・アクセント)

※語彙素読み・語形・発音形はカタカナ表記。語彙素は漢字を多用した「代表表記」。

基本形と出現形

語形以下のレベルでは、基本形(辞書見出し形=終止形)と出現形(実際の活用形)の別があり、活用語では違う形になる

例:アザラシが泳ぎます

  • 語彙素レベル:(語彙素)泳ぐ (語彙素読み)オヨグ
    • 語形レベル:(語形(基本形))オヨグ,(語形出現形*4)オヨギ
      • 書字形レベル:(書字形(基本形))泳ぐ,(書字形出現形)泳ぎ
      • 発音形レベル:(発音形(基本形))オヨグ,(発音形出現形)オヨギ

見出し語の例とBCCWJ中の用例数

  • 語彙素:矢張り(ヤハリ) 32887
    • 語形:ヤハリ:19876
      • 書字形:やはり:19781
      • 書字形:ヤハリ:0
      • 書字形:矢張り:93
      • 書字形:矢張:2
    • 語形:ヤッパリ:11373
      • 書字形:やっぱり:11296
      • 書字形:ヤッパリ:36
      • 書字形:やつぱり:23
      • 書字形:やッぱり:2
      • 書字形:矢っ張:1
      • 書字形:矢つ張:1
      • 書字形:矢ッ張り:4
      • 書字形:矢っ張り:5
      • 書字形:矢つ張り:5
    • 語形:ヤッパシ:96
      • 書字形:やっぱし:96
    • 語形:ヤッパ:1506
      • 書字形:やっぱ:1503
      • 書字形:ヤッパ:3
    • 語形:ヤパ:35
      • 書字形:やぱ:35
    • 語形:ヤパリ:1
      • 書字形:やぱり:1

形態論情報を活かした検索

  • 「中納言」での指定方法

2014/5/2

「中納言」利用申込み

  • 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

日本語コーパスの紹介(2) コーパスの設計とサンプリング

  • 均衡コーパス(Balanced corpus)
    • 「バランスがとれている」とは?
    • コーパスの母集団の設定とサンプリング
    • BCCWJのサブコーパス
    • 可変長と固定長
  • 著作権をめぐる問題

参考リンク

2014/4/25

「中納言」利用申込み

  • 申込用紙を配布します。押印して次回、必ず持ってきてください。

現代日本語書き言葉均衡コーパス(BCCWJ)とは

  • BCCWJについて、まず最小限のことを説明します。
  • BCCWJ少納言
    • 登録不要
    • 文字列検索のみ
    • 500例まで表示
  • BCCWJ中納言
    • 要登録
    • 形態論情報を使った検索
    • 全件(一度に最大10万例まで)ダウンロード可

日本語コーパスの紹介(1)コーパスとはどんなものか

狭義のコーパス
言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
広義のコーパス
コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
  • この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス(BCCWJ)」
  • 日本語コーパス以前のデータとBCCWJの違いは

2014/04/18

イントロダクション

  • デモ
  • 「現代日本語書き言葉均衡コーパス(BCCWJ)」
  • Excelによる集計(ピボットテーブル)
  • 形態素解析:茶まめ/MeCab+UniDic
  • シラバス確認
    • シラバス
    • この授業の目的
    • 授業の進め方
    • 評価方法

*1 最新版はMeCab版のみ
*2 「行く」は「た」「て」に続く連用形がイ音便ではなく促音便になる
*3 一部のみ。「中納言」で使えるのは更にこの一部分。
*4 この場合、活用形としては「連用形」

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS