上智2015/国語学演習IIIa の履歴差分(No.22)

追加された行はこの色です。
削除された行はこの色です。
[[上智2015]]

*国語学演習IIIa / コーパス日本語学入門

-前期・金曜4限
-ogiso＠ogiso.net　←＠を@に直してください

-BCCWJ中納言 https://chunagon.ninjal.ac.jp/


**2015/6/12

***Excelによる集計・つづき

-複数の検索結果の結合
--例：蒲公英・向日葵・菫
---[[データダウンロード kwic-flowers.zip>https://www.dropbox.com/s/rps83rgol4feglf/kwic-flowers.zip]]
-集計用の列を自分で用意する
--例：表記（ひらがな・かたかな・漢字）別集計

***Excelの文字列関数とIF関数

-例：ジャンル（NDC）の整理
--先頭の文字を取り出す（NDCの一次区分（＝類））
---=LEFT(<ジャンルのセル>,1)
--スラッシュで区切られた最初の部分（ジャンルの大分類）
---=LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)

-集計用に用意した列で文字列処理関数を利用する
--LEFT
--RIGHT
--MID
--LEN
--SEARCH
--SUBSTITUTE

-応用例：品詞の大分類を使う
--=IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)


**2015/6/5
-6/26, 7/3休講について

***復習
+「中納言」による検索
+Excelでインポート
+ピボットテーブルで集計

--語形レベルでの集計
---例：exhibition [[データダウンロード kwic-Exhibition.zip>https://www.dropbox.com/s/qi7w3d2razg2234/kwic-Exhibition.zip]]


***検索の例
-男と女のレジスタ分布　[[データ kwic-MaleFemale.zip>https://www.dropbox.com/s/x3p6kimzj36enxn/kwic-MaleFemale.zip]]
--男性と女性
--男と女と形容詞

--短単位で検索（unit="1"）

 キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) 
 WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"

 キー: (語彙素="男性" OR 語彙素 = "女性") 
 WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

--以下は長単位で検索（unit="2"）

 キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
 AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 WORDS FROM キー 
 WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

 キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
 AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) ON 1 WORDS FROM キー 
 WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"


-複数の検索結果の結合
--例：蒲公英・向日葵・菫
---[[データダウンロード kwic-flowers.zip>https://www.dropbox.com/s/rps83rgol4feglf/kwic-flowers.zip]]
-集計用の列を自分で用意する
--例：表記（ひらがな・かたかな・漢字）別集計

***Excelの文字列関数とIF関数

-例：ジャンル（NDC）の整理
--先頭の文字を取り出す（NDCの一次区分（＝類））
---=LEFT(<ジャンルのセル>,1)
--スラッシュで区切られた最初の部分（ジャンルの大分類）
---=LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)

-集計用に用意した列で文字列処理関数を利用する
--LEFT
--RIGHT
--MID
--LEN
--SEARCH
--SUBSTITUTE
-応用例：品詞の大分類を使う
--=IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)


**2015/5/29
-先週の宿題：実際に検索、質問

***検索結果をExcelで利用する
-前々回資料（4.）参照

***Excelの基礎
-並べ替え
--反転前文脈の使い方
-フィルタ
--テキストフィルタ


***「中納言」検索結果のダウンロードとExcelでの利用
+ダウンロード
+アーカイブの展開（解凍）
+Excelでインポート

-[[kwic-150529.zip>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=kwic-150529.zip&refer=%BE%E5%C3%D22015%2F%B9%F1%B8%EC%B3%D8%B1%E9%BD%ACIIIa]]

 キー: 品詞 LIKE "矢張り" 
 WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0"
 AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"

 キー: 品詞 LIKE "形容詞%" AND 前方共起: 語彙素 = "割合" ON 2 WORDS FROM キー
  WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0"
  AND endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

***【重要】ピボットテーブルの使い方
-ピボットテーブル
-ピボットグラフ


**2015/5/22

-BCCWJ中納言の契約書を返却します。

***「中納言」の利用（続き）

-資料「『中納言』の使い方」　2.7～

***検索条件式の利用
 キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" 
 AND endOfLine="CRLF" AND tglKugiri="|" AND  encoding="UTF-16LE" AND tglFixVariable="2"


**2015/5/15

***「中納言」の利用：形態論情報を使った検索

-配布資料「短単位と長単位」

-配布資料「『中納言』の使い方」



**2015/5/8

-''出席について''

***「中納言」アカウント確認
-先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。
-ログインできない人は連絡を。

**コーパスの形態論情報

***短単位と長単位
//-''（配付資料）''参照
-''（スライド）''参照

***品詞体系
-BCCWJはUniDicの品詞体系↓ にもとづく

-----

#include(授業資料/UniDicの品詞体系,notitle)

-----

#include(授業資料/UniDicの見出し語階層,notitle)

-----


***形態論情報を活かした検索
-「中納言」での指定方法
//-資料「『中納言』概説・実習」参照



**2015/05/01

***BCCWJ「中納言」アカウントについて
-先週申し込んだ人にはアカウントを発行しました。メールを確認してログインしてみて下さい。
--誤って発行された『日本語歴史コーパス』（CHJ）のアカウントのメールは無視してください。

***日本語コーパスの紹介（2） コーパスの設計とサンプリング

-''（スライド参照）''
--[[第3回コーパスの設計とサンプリング>https://dl.dropboxusercontent.com/u/134600/%E3%82%B9%E3%83%A9%E3%82%A4%E3%83%89/%E7%AC%AC3%E5%9B%9E%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E8%A8%AD%E8%A8%88%E3%81%A8%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0.pdf]]


-均衡コーパス（Balanced corpus）
--「バランスがとれている」とは？
--コーパスの母集団の設定とサンプリング
--BCCWJのサブコーパス
--可変長と固定長
-著作権をめぐる問題


***参考リンク
-英語のコーパス リファレンス
--[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/
--[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/
-現代日本語書き言葉均衡コーパス（BCCWJ）
--[[現代日本語書き言葉均衡コーパス：概要>http://pj.ninjal.ac.jp/corpus_center/bccwj/index.html]]
--[[現代日本語書き言葉均衡コーパス：サンプリング>http://pj.ninjal.ac.jp/corpus_center/bccwj/sampling.html]]



**2015/04/24
***BCCWJ「中納言」申込み
下記の書類は授業で配布しますが、書き損じた場合などには下記のリンク先のファイルを利用してください。

-申込書（この授業用） [[BCCWJ_ApplicationForm.doc>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=BCCWJ_ApplicationForm.doc&refer=%BE%E5%C3%D22015%2F%B9%F1%B8%EC%B3%D8%B1%E9%BD%ACIIIa]]
-契約書 [[BCCWJ_ContractOnline.pdf>http://pj.ninjal.ac.jp/corpus_center/bccwj/doc/sub/BCCWJ_ContractOnline.pdf]]
--契約書は両面印刷で2部必要。表面にも記入欄があるので注意


***現代日本語書き言葉均衡コーパス（BCCWJ）とは
-BCCWJについて、まず最小限のことを説明します。

-[[BCCWJ少納言>http://shonagon.ninjal.ac.jp]]
--登録不要
--文字列検索のみ
--500例まで表示
-[[BCCWJ中納言>http://chunagon.ninjal.ac.jp]]
--要登録
--形態論情報を使った検索
--全件（一度に最大10万例まで）ダウンロード可


***日本語コーパスの紹介（1）コーパスとはどんなものか

:狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
:広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
-この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス（BCCWJ）」
-日本語コーパス以前のデータとBCCWJの違いは

-''（スライド参照）''
--[[第2回コーパスとは>https://dl.dropboxusercontent.com/u/134600/%E3%82%B9%E3%83%A9%E3%82%A4%E3%83%89/%E7%AC%AC2%E5%9B%9E%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%A8%E3%81%AF.pdf]]


**2015/04/17
***イントロダクション

-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
-コーパスとは
--[[国立国語研究所コーパス開発センター>http://pj.ninjal.ac.jp/corpus_center/]]
--[[形態素解析辞書UniDic>http://sourceforge.jp/projects/unidic/]]

-デモ
-「現代日本語書き言葉均衡コーパス（BCCWJ）」
--BCCWJ[[少納言>http://shonagon.ninjal.ac.jp]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
-Excelによる集計（ピボットテーブル）
-形態素解析：茶まめ／MeCab+UniDic

-シラバス確認
--[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=2015%C1%B0%B4%FC_%A5%B7%A5%E9%A5%D0%A5%B9%C5%D0%CF%BF%20%5BLOYOLA%5D.pdf&refer=%BE%E5%C3%D22015%2F%B9%F1%B8%EC%B3%D8%B1%E9%BD%ACIIIa]]
--この授業の目的
--授業の進め方
--評価方法