上智2015/国語学演習IIIa

上智2015

国語学演習IIIa / コーパス日本語学入門

• 前期・金曜4限
• ogiso＠ogiso.net　←＠を@に直してください

• BCCWJ中納言 https://chunagon.ninjal.ac.jp/

期末レポートについて

• 締切：8月7日（金）
• 提出先：メールで直接送付（必ず返信を確認すること）
• 分量：A4用紙で3〜10枚
• メール・Wordファイルの両方に氏名・学籍番号を明記すること
  • Wordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ってください

2015/07/17　最終回

• レポート完成に向けて作業を進めながら積極的に質問してください。

Wordでレポートを書く

• 文書の構造化*
  • スタイルと見出し
  • ナビゲーション ウィンドウ（見出しマップ）の使い方
  • 章・節番号
• 図表の貼り込み*
  • 「形式を選択して貼り付け」
  • 図表番号とキャプション
• 脚注
  • 脚注と文末脚注
• 相互参照
  • 節番号、図表番号と相互参照
  • 目次、図表目次

2015/7/9

小レポート講評・質問対応

レポート作成のためのコーパス検索・調査

• 小レポートの調査結果をふまえ、実際に用例を検索してレポート作成の準備を進めます。 積極的に質問して下さい。
• 授業中、1億語全体の検索は極力避けて下さい。

NINJAL LWP for BCCWJの紹介

• http://nlb.ninjal.ac.jp/
• ワードプロファイラー
• 語の振る舞いの概略を見るのに手軽で便利
• 注意点
  • UniDicの見出し語体系でない（＝本来のBCCWJではない）
  • 自動係り受け解析結果は形態素解析以上に誤りが多い

---

6/26, 7/3の休講の代替措置について

1. 6/26までに期末レポートに向けた調査テーマを決め、メールで連絡する
   • どのような語を調査するのかできるだけ具体的に書くこと
   • テーマについて質問がある場合や、複数のテーマを検討中の場合にはメールで相談すること
2. 7/6までに上記のテーマの調査結果（小レポート）をメールに添付して送付する
   • 小レポートにはコーパスの調査結果（検索結果をピボットテーブルで集計したものなど）を必ず含めてください。
   • Wordではファイルサイズが大きくなるため、PDF形式で保存したものを送ってください。

2015/6/19

BCCWJ利用の落とし穴

• BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
  • レジスターによって母集団の年が違っている
    • レジスターの偏りを年代の偏りと勘違いしないこと
  • 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ

• もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
  • cf.人口あたりの事故件数，１平方キロあたりの…etc.

• データ：語彙素「矢張り」　kwic-yahari.zip

調整頻度の計算

• 粗頻度を総語数で割る
  • レジスターごとの語数データ：中納言ページの「語数について」からExcelでダウンロードできる
    • 語数ファイルをピボットテーブルで集計して分母に

• 調整頻度には100万語あたりの頻度が比較的よく使われる
  • 粗頻度/総語数*1000000
    • 数字が小さくなりすぎないようにするため

• ※割合の違いを比較するだけなら調整頻度を出す必要はない。

ランダムサンプリング調査

• 大量に用例があり、調査内容からすべて対象にできない場合
• ランダムに並べ替え→先頭n例を調査対象に
  • ランダムな数字の列： =RAND()
  • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

重複の削除

• 用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合
• 「データ」→「重複の削除

2015/6/12

Excelによる集計・つづき

• 複数の検索結果の結合
  • 例：蒲公英・向日葵・菫
    • データダウンロード kwic-flowers.zip
• 集計用の列を自分で用意する
  • 例：表記（ひらがな・かたかな・漢字）別集計

Excelの文字列関数とIF関数

• 例：ジャンル（NDC）の整理
  • 先頭の文字を取り出す（NDCの一次区分（＝類））
    • =LEFT(<ジャンルのセル>,1)
  • スラッシュで区切られた最初の部分（ジャンルの大分類）
    • =LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)

• 集計用に用意した列で文字列処理関数を利用する
  • LEFT
  • RIGHT
  • MID
  • LEN
  • SEARCH
  • SUBSTITUTE

• 条件わけ：IF

• エラー対応：IFERROR

• 応用例：品詞の大分類を使う
  • =IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)

レポートテーマについて

• 次回までにレポートテーマを考えてくること

• 他の授業で取り上げられたテーマや普段から見聞きする言葉に気をつける
• 図書館も活用すること
• ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく

表記

• 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
• 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い？レジスター差？
• 「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ

類義語・対義語

• 「奇麗」と「美しい」・・・連体修飾する名詞の違い（→意味の違い）
• 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
• 「男性」と「女性」（「男」と「女」）・・・語彙の非対称性、社会言語学的分析

語形、語法

• 「好ましい」「好もしい」・・・語形の揺れと文体差
• 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件

新語・意味変化

• 「断トツ」「定番」「夜ご飯」・・・新語の広がり
• 「役不足」「確信犯」・・・”誤用”と”正用”

2015/6/5

• 6/26, 7/3休講について

復習

1. 「中納言」による検索
2. Excelでインポート
3. ピボットテーブルで集計

• 語形レベルでの集計
  • 例：exhibition データダウンロード kwic-Exhibition.zip

検索の例

• 男と女のレジスタ分布　データ kwic-MaleFemale.zip
  • 男性と女性
  • 男と女と形容詞

• 短単位で検索（unit="1"）

キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"

キー: (語彙素="男性" OR 語彙素 = "女性") 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

• 以下は長単位で検索（unit="2"）

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

2015/5/29

• 先週の宿題：実際に検索、質問

検索結果をExcelで利用する

• 前々回資料（4.）参照

Excelの基礎

• 並べ替え
  • 反転前文脈の使い方
• フィルタ
  • テキストフィルタ

「中納言」検索結果のダウンロードとExcelでの利用

1. ダウンロード
2. アーカイブの展開（解凍）
3. Excelでインポート

• kwic-150529.zip

キー: 品詞 LIKE "矢張り" 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0"
AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"

キー: 品詞 LIKE "形容詞%" AND 前方共起: 語彙素 = "割合" ON 2 WORDS FROM キー
 WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0"
 AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

【重要】ピボットテーブルの使い方

• ピボットテーブル
• ピボットグラフ

2015/5/22

• BCCWJ中納言の契約書を返却します。

「中納言」の利用（続き）

• 資料「『中納言』の使い方」　2.7〜

検索条件式の利用

キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" 
AND endOfLine="CRLF" AND tglKugiri="|" AND  encoding="UTF-16LE" AND tglFixVariable="2"

2015/5/15

「中納言」の利用：形態論情報を使った検索

• 配布資料「短単位と長単位」

• 配布資料「『中納言』の使い方」

2015/5/8

• 出席について

「中納言」アカウント確認

• 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。
• ログインできない人は連絡を。

コーパスの形態論情報

短単位と長単位

• （スライド）参照

品詞体系

• BCCWJはUniDicの品詞体系↓ にもとづく

---

UniDicの品詞体系

• UniDicの品詞体系
  • UniDicマニュアル1.3.9 による

品詞分類

活用型

活用形

学校文法との主な違い

• 品詞
  • 名詞-普通名詞-一般（大分類＞中分類＞小分類） のように階層化されている
  • 名詞-普通名詞-サ変可能 のように可能性に基づく品詞付与がなされている

• 「形状詞」という品詞を立てている（＝形容動詞語幹）　例：「奇麗」「愉快」

• 活用型
  • 下一段-ア行（大分類＞行分類（＞小分類）） のように階層化されている
  • 五段-カ行-イク のように実際の活用にあわせてより細かく分類されている*1

• 漢語サ変動詞を名詞（語幹）と動詞（「する」）に分割（学校文法では全体で1語の動詞として扱う）　例：「研究|する」

• 動詞に助動詞「う」が付いた形を動詞の意志推量形（全体として1語）として扱う 例：「飲もう」

---

UniDic見出し語の階層構造

見出し語の階層構造

• 語彙素：辞書の見出しのレベル
• 語形：異語形を区別するレベル
• 書字形：異表記を区別するレベル

各レベルが持つ情報*2

• 語彙素レベル（語彙素・語彙素読み・語彙素細分類・語種）
  • 語形レベル（語形・品詞・活用型・活用形）
    • 書字形レベル（書字形・仮名形）
    • 発音形レベル（発音形・アクセント）

※語彙素読み・語形・発音形はカタカナ表記。語彙素は漢字を多用した「代表表記」。

基本形と出現形

語形以下のレベルでは、基本形（辞書見出し形＝終止形）と出現形（実際の活用形）の別があり、活用語では違う形になる

例：アザラシが泳ぎます

• 語彙素レベル：（語彙素）泳ぐ　（語彙素読み）オヨグ
  • 語形レベル：（語形(基本形)）オヨグ，（語形出現形*3）オヨギ
    • 書字形レベル：（書字形(基本形)）泳ぐ，（書字形出現形）泳ぎ
    • 発音形レベル：（発音形(基本形)）オヨグ，（発音形出現形）オヨギ

見出し語の例とBCCWJ中の用例数

• 語彙素：矢張り（ヤハリ） 32887
  • 語形：ヤハリ：19876
    • 書字形：やはり：19781
    • 書字形：ヤハリ：0
    • 書字形：矢張り：93
    • 書字形：矢張：2
  • 語形：ヤッパリ：11373
    • 書字形：やっぱり：11296
    • 書字形：ヤッパリ：36
    • 書字形：やつぱり：23
    • 書字形：やッぱり：2
    • 書字形：矢っ張：1
    • 書字形：矢つ張：1
    • 書字形：矢ッ張り：4
    • 書字形：矢っ張り：5
    • 書字形：矢つ張り：5
  • 語形：ヤッパシ：96
    • 書字形：やっぱし：96
  • 語形：ヤッパ：1506
    • 書字形：やっぱ：1503
    • 書字形：ヤッパ：3
  • 語形：ヤパ：35
    • 書字形：やぱ：35
  • 語形：ヤパリ：1
    • 書字形：やぱり：1

---

形態論情報を活かした検索

• 「中納言」での指定方法

2015/05/01

BCCWJ「中納言」アカウントについて

• 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインしてみて下さい。
  • 誤って発行された『日本語歴史コーパス』（CHJ）のアカウントのメールは無視してください。

日本語コーパスの紹介（2） コーパスの設計とサンプリング

• （スライド参照）
  • 第3回コーパスの設計とサンプリング

• 均衡コーパス（Balanced corpus）
  • 「バランスがとれている」とは？
  • コーパスの母集団の設定とサンプリング
  • BCCWJのサブコーパス
  • 可変長と固定長
• 著作権をめぐる問題

参考リンク

• 英語のコーパス リファレンス
  • ブラウンコーパス マニュアル http://khnt.aksis.uib.no/icame/manuals/brown/
  • BNCリファレンスガイド http://www.natcorp.ox.ac.uk/docs/URG/
• 現代日本語書き言葉均衡コーパス（BCCWJ）
  • 現代日本語書き言葉均衡コーパス：概要
  • 現代日本語書き言葉均衡コーパス：サンプリング

2015/04/24

BCCWJ「中納言」申込み

下記の書類は授業で配布しますが、書き損じた場合などには下記のリンク先のファイルを利用してください。

• 申込書（この授業用） BCCWJ_ApplicationForm.doc
• 契約書 BCCWJ_ContractOnline.pdf
  • 契約書は両面印刷で2部必要。表面にも記入欄があるので注意

現代日本語書き言葉均衡コーパス（BCCWJ）とは

• BCCWJについて、まず最小限のことを説明します。

• BCCWJ少納言
  • 登録不要
  • 文字列検索のみ
  • 500例まで表示
• BCCWJ中納言
  • 要登録
  • 形態論情報を使った検索
  • 全件（一度に最大10万例まで）ダウンロード可

日本語コーパスの紹介（1）コーパスとはどんなものか

狭義のコーパス

言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。

広義のコーパス

コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。

• この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
• 日本語コーパス以前のデータとBCCWJの違いは

• （スライド参照）
  • 第2回コーパスとは

2015/04/17

イントロダクション

• 自己紹介
  • 大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
• コーパスとは
  • 国立国語研究所コーパス開発センター
  • 形態素解析辞書UniDic

• デモ
• 「現代日本語書き言葉均衡コーパス（BCCWJ）」
  • BCCWJ少納言
  • BCCWJ中納言
• Excelによる集計（ピボットテーブル）
• 形態素解析：茶まめ／MeCab+UniDic

• シラバス確認
  • シラバス
  • この授業の目的
  • 授業の進め方
  • 評価方法