[[上智2014]]
*コーパス日本語学入門

-前期・金曜4限
-ogiso@ogiso.net ←@を@に直してください

-BCCWJ中納言 https://chunagon.ninjal.ac.jp/

**期末レポートについて
-締切:7月31日(木)
-提出先:メールで直接送付(必ず返信を確認すること)
-分量:A4用紙で3〜10枚
-メール・Wordファイルの両方に氏名・学籍番号を明記すること
--Wordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ってください

**2014/07/18 最終回

-レポート完成に向けて作業を進めながら積極的に質問してください。


**2014/07/11 休講


**2014/07/04

***Wordでレポートを書く
-文書の構造化*
--スタイルと見出し
--ナビゲーション ウィンドウ(見出しマップ)の使い方
--章・節番号
-図表の貼り込み*
--「形式を選択して貼り付け」
--図表番号とキャプション
-脚注
--脚注と文末脚注
-相互参照
--節番号、図表番号と相互参照
--目次、図表目次

***レポート作成のためのコーパス検索・調査(2)

-レポート完成に向けて作業を進めながら積極的に質問してください。


**2014/06/27

-レポートテーマについて

***レポート作成のためのコーパス検索・調査(1)

考えてきたテーマについて、実際に用例を検索してレポート作成の準備を進めます。
積極的に質問して下さい。

-授業中、1億語全体の検索は極力避けて下さい。

**2014/06/20

***レポートテーマ案提出
-BCCWJ中納言の契約書を返却します。
-レポートテーマの案を提出してください。

***形態素解析

-リンク:[[形態素解析ウェブアプリUniDic-MeCab(複合名詞判定ver付き)>http://www4414uj.sakura.ne.jp/Yasanichi1/unicheck/]]

#include(授業資料/形態素解析,notitle)

&br;
#hr

--形態素解析器[[MeCab>http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html]](Windows用)最新版 [[Download>http://code.google.com/p/mecab/downloads/detail?name=mecab-0.994.exe]]


***授業用UniDic+MeCabパッケージのダウンロード

-https://dl.dropboxusercontent.com/u/134600/portable-unidic-mecab.zip

***茶まめで形態素解析・Excelで集計
+茶まめで解析してみる(解析器はMeCab+解析辞書はUniDic)
+Excelに出力する
+ピボットテーブルで集計する

-テキストのジャンルと語種,品詞の割合をグラフ化してみる
--ブログのテキストと新聞記事のテキストの解析結果を比較


**2014/06/13

***BCCWJ利用の落とし穴

-BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
--レジスターによって母集団の年が違っている
---レジスターの偏りを年代の偏りと勘違いしないこと
--30年あるのは白書・ベストセラー・国会会議録など一部のものだけ

-もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
--cf.人口あたりの事故件数,1平方キロあたりの…etc.

--データ:語彙素「矢張り」 [[kwic-yahari.zip>https://www.dropbox.com/s/33jkbf7k24hlwyw/kwic-yahari.zip]]

***調整頻度の計算
-粗頻度を総語数で割る
--レジスターごとの語数データ:中納言ページの「語数について」からExcelでダウンロードできる
---語数ファイルをピボットテーブルで集計して分母に

-調整頻度には100万語あたりの頻度が比較的よく使われる
--粗頻度/総語数*1000000
---数字が小さくなりすぎないようにするため

-※割合の違いを比較するだけなら調整頻度を出す必要はない。


***ランダムサンプリング調査(Excelでの集計・補足)
--大量に用例があり、調査内容からすべて対象にできない場合
--ランダムに並べ替え→先頭n例を調査対象に
---ランダムな数字の列: =RAND() 
---ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

--データ:「れる・られる」コアのみ(用法分類) [[kwic-rareru.zip>https://www.dropbox.com/s/uypb93o1qgmlfi8/kwic-rareru.zip]]


***NINJAL LWP for BCCWJの紹介
-http://nlb.ninjal.ac.jp/
-ワードプロファイラー
-語の振る舞いの概略を見るのに手軽で便利
-注意点
--UniDicの見出し語体系でない(=本来のBCCWJではない)
--自動係り受け解析結果は形態素解析以上に誤りが多い


**レポートテーマについて
-次回までにレポートテーマを考えてくること(全員提出のこと)

-他の授業で取り上げられたテーマや普段から見聞きする言葉に気をつける
-図書館も活用すること
-ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく

***表記
--「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
--「卵」「玉子」「たまご」「タマゴ」・・・意味の違い?レジスター差?
--「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ
***類義語・対義語
--「奇麗」と「美しい」・・・連体修飾する名詞の違い(→意味の違い)
--「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
--「男性」と「女性」(「男」と「女」)・・・語彙の非対称性、社会言語学的分析
***語形、語法
--「好ましい」「好もしい」・・・語形の揺れと文体差
--「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件
***新語・意味変化
--「断トツ」「定番」「夜ご飯」・・・新語の広がり
--「役不足」「確信犯」・・・”誤用”と”正用”

**2014/06/06

***Excelによる集計・つづき

-復習・補足
--語形レベルでの集計
---例:exhibition [[データダウンロード kwic-Exhibition.zip>https://www.dropbox.com/s/qi7w3d2razg2234/kwic-Exhibition.zip]]
-「検索課題」(配付資料)
-複数の検索結果の結合
--例:蒲公英・向日葵・菫
---[[データダウンロード kwic-flowers.zip>https://www.dropbox.com/s/rps83rgol4feglf/kwic-flowers.zip]]
-集計用の列を自分で用意する
--例:表記(ひらがな・かたかな・漢字)別集計

***Excelの文字列関数とIF関数

-例:ジャンル(NDC)の整理
--先頭の文字を取り出す(NDCの一次区分(=類))
---=LEFT(<ジャンルのセル>,1)
--スラッシュで区切られた最初の部分(ジャンルの大分類)
---=LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)

-集計用に用意した列で文字列処理関数を利用する
--LEFT
--RIGHT
--MID
--LEN
--SEARCH
--SUBSTITUTE
-応用例:品詞の大分類を使う
--=LEFT(<品詞>,SEARCH("-",<品詞>)-1)


**2014/05/30

***復習
+「中納言」による検索
+Excelでインポート
+ピボットテーブルで集計

***Excelの基礎
-並べ替え
--反転前文脈の使い方
-フィルタ
--テキストフィルタ

***検索の例
-男と女のレジスタ分布 [[データ kwic-MaleFemale.zip>https://www.dropbox.com/s/x3p6kimzj36enxn/kwic-MaleFemale.zip]]
--男性と女性
--男と女と形容詞

--短単位で検索(unit="1")

 キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) 
 WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"

 キー: (語彙素="男性" OR 語彙素 = "女性") 
 WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

--以下は長単位で検索(unit="2")

 キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
 AND 後方共起: (語彙素 = "男性" OR 語彙素 = "女性") ON 1 WORDS FROM キー 
 WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"

 キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
 AND 後方共起: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) ON 1 WORDS FROM キー 
 WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
 endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"


-「検索課題」配付資料



***補足
-[[ジップの法則>http://ja.wikipedia.org/wiki/%E3%82%B8%E3%83%83%E3%83%97%E3%81%AE%E6%B3%95%E5%89%87]]


**2014/05/23

-資料「『中納言』の使い方」つづき 2.6〜

***検索条件式の利用
 キー: 語彙素 = "玉葱" WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" 
 AND endOfLine="CRLF" AND tglKugiri="|" AND  encoding="UTF-8" AND tglFixVariable="2"

***検索結果をExcelで利用する
-前回資料(4.)参照

***「中納言」検索結果のダウンロードとExcelでの利用
+ダウンロード
+アーカイブの展開(解凍)
+Excelでインポート


***【重要】ピボットテーブルの使い方
-ピボットテーブル
-ピボットグラフ


**2014/5/16

***「中納言」の利用:形態論情報を使った検索

-配布資料「『中納言』の使い方」
--1.3つの検索方法 〜 2.5ワイルドカード まで

**2014/5/9

***「中納言」利用申込み
-先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

**コーパスの形態論情報

***短単位と長単位
-''(配付資料)''参照
-''(スライド)''参照

***品詞体系
-BCCWJはUniDicの品詞体系にもとづく
--形態論情報の例

-----

#include(授業資料/UniDicの品詞体系,notitle)

-----

#include(授業資料/UniDicの見出し語階層,notitle)

-----



***形態論情報を活かした検索
-「中納言」での指定方法
//-資料「『中納言』概説・実習」参照


**2014/5/2

***「中納言」利用申込み
-先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

***日本語コーパスの紹介(2) コーパスの設計とサンプリング


-''(スライド参照)''
--[[第2回コーパスの設計とサンプリング>https://www.dropbox.com/s/j9yt940pvhjlqym/20140502_%E4%B8%8A%E6%99%BA%E3%83%BB%E7%AC%AC3%E5%9B%9E%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%AE%E8%A8%AD%E8%A8%88%E3%81%A8%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0.pptx]]


-均衡コーパス(Balanced corpus)
--「バランスがとれている」とは?
--コーパスの母集団の設定とサンプリング
--BCCWJのサブコーパス
--可変長と固定長
-著作権をめぐる問題


***参考リンク
-英語のコーパス リファレンス
--[[ブラウンコーパス マニュアル>http://khnt.aksis.uib.no/icame/manuals/brown/]] http://khnt.aksis.uib.no/icame/manuals/brown/
--[[BNCリファレンスガイド>http://www.natcorp.ox.ac.uk/docs/URG/]] http://www.natcorp.ox.ac.uk/docs/URG/
-現代日本語書き言葉均衡コーパス(BCCWJ)
--[[現代日本語書き言葉均衡コーパス:概要>http://www.ninjal.ac.jp/corpus_center/bccwj/index.html]]
--[[現代日本語書き言葉均衡コーパス:サンプリング>http://www.ninjal.ac.jp/corpus_center/bccwj/sampling.html]]



**2014/4/25

***「中納言」利用申込み
-申込用紙を配布します。''押印して次回、必ず持ってきてください。''

***現代日本語書き言葉均衡コーパス(BCCWJ)とは
-BCCWJについて、まず最小限のことを説明します。

-[[BCCWJ少納言>http://shonagon.ninjal.ac.jp]]
--登録不要
--文字列検索のみ
--500例まで表示
-[[BCCWJ中納言>http://chunagon.ninjal.ac.jp]]
--要登録
--形態論情報を使った検索
--全件(一度に最大10万例まで)ダウンロード可


***日本語コーパスの紹介(1)コーパスとはどんなものか

:狭義のコーパス|言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
:広義のコーパス|コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
-この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス(BCCWJ)」
-日本語コーパス以前のデータとBCCWJの違いは

-''(スライド参照)''
--[[第2回コーパスとは>https://www.dropbox.com/s/pjzsmnldan5hfpo/20140425_%E4%B8%8A%E6%99%BA%E3%83%BB%E7%AC%AC2%E5%9B%9E%E3%82%B3%E3%83%BC%E3%83%91%E3%82%B9%E3%81%A8%E3%81%AF.pptx]]

**2014/04/18
***イントロダクション

-[[自己紹介]]
--大学共同利用機関法人人間文化研究機構 国立国語研究所 http://www.ninjal.ac.jp/
-コーパスとは
--[[国立国語研究所コーパス開発センター>http://www.ninjal.ac.jp/corpus_center/]]
--[[形態素解析辞書UniDic>http://sourceforge.jp/projects/unidic/]]

-デモ
-「現代日本語書き言葉均衡コーパス(BCCWJ)」
--BCCWJ[[少納言>http://shonagon.ninjal.ac.jp]]
--BCCWJ[[中納言>http://chunagon.ninjal.ac.jp]]
-Excelによる集計(ピボットテーブル)
-形態素解析:茶まめ/MeCab+UniDic


-シラバス確認
--[[シラバス>http://www.ogiso.net/wiki/index.php?plugin=attach&pcmd=open&file=%A5%B7%A5%E9%A5%D0%A5%B9%C5%D0%CF%BF%20%5BLOYOLA%5D%C1%B0%B4%FC.pdf&refer=%BE%E5%C3%D22014%2F%B9%F1%B8%EC%B3%D8%B1%E9%BD%ACIa]]
--この授業の目的
--授業の進め方
--評価方法

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS