成蹊2015

  • 後期・金曜2限
  • ogiso@ogiso.net ←@を@に直してください

日本語学講義F

期末レポートについて

  • 締切:1月29日(金)
  • 提出先:メールで直接送付(受け取りの返信をするので必ず確認すること。2日たっても返信がない場合は、授業時に伝えた別アドレスに再送信してください)
  • 分量:A4用紙で3〜10枚(4〜5枚以上を推奨)
  • メール・Wordファイルの両方に氏名・学籍番号を明記すること
    • Wordファイルのサイズが大きくなりすぎる場合には、PDFファイルとして保存して送ってください

2016/01/15

レポートの完成へ

発展

  • Excelの活用
    • vlookup関数?
  • データベースの利用(Access)
    • クエリによる集計

2016/01/08

レポートテーマ小発表のこり

Wordを使ってレポートを書く

  • 図表の取り扱い
    • 「形式を選択して貼り付け」
    • 図表番号、キャプション
  • 文書の構造化
    • 章・節番号
    • 「スタイル」「ナビゲーション ウィンドウ」(見出しマップ)の活用
  • 図表番号と相互参照
    • 脚注、文末脚注
    • 目次、図表目次

レポート課題の調査・質問

2015/12/24

レポートテーマ小発表(ライトニングトーク)

レポート課題の調査・質問

2015/12/17

レポート課題の調査と小発表の準備

  • 考えてきたテーマについて、実際に用例を検索してレポート作成と次回のプレゼンテーション(小発表)の準備を進めます。
  • 積極的に質問して下さい。

Excelの文字列関数とIF関数

  • 例:ジャンル(NDC)の整理
    • 先頭の文字を取り出す(NDCの一次区分(=類))
      • =LEFT(<ジャンルのセル>,1)
    • スラッシュで区切られた最初の部分(ジャンルの大分類)
      • =LEFT(<ジャンルのセル>,SEARCH("/",<ジャンルのセル>)-1)
  • 集計用に用意した列で文字列処理関数を利用する
    • LEFT
    • RIGHT
    • MID
    • LEN
    • SEARCH
    • SUBSTITUTE
  • 条件わけ:IF
  • エラー対応:IFERROR
  • 応用例:品詞の大分類を使う
    • =IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)

2015/12/11 【休講】

  • 急な連絡になりましたが、12月11日の授業は休講とします。

2015/12/04

形態素解析

Web茶まめで形態素解析・Excelで集計

  1. 茶まめで解析してみる(解析器はMeCab+解析辞書はUniDic)
  2. Excelに出力する
  3. ピボットテーブルで集計する
  • テキストのジャンルと語種,品詞の割合をグラフ化してみる
    • ブログのテキストと新聞記事のテキストの解析結果を比較

2015/11/27

レポートテーマについて

  • 考えてきたテーマを聞き、コメントします。(今後変更があっても構いません)

BCCWJ利用の落とし穴

  • BCCWJはあくまでも「現代語」のためのコーパスなので通時的な調査には向かない
    • レジスターによって母集団の年が違っている
      • レジスターの偏りを年代の偏りと勘違いしないこと
    • 30年あるのは白書・ベストセラー・国会会議録など一部のものだけ
  • もともとテキスト量の多いレジスターにたくさん用例があるからといって「そのレジスターでよく使われる」とはいえない→調整頻度の計算
    • cf.人口あたりの事故件数,1平方キロあたりの…etc.

調整頻度の計算

  • 粗頻度を総語数で割る
    • レジスターごとの語数データ:中納言ページの「語数について」からExcelでダウンロードできる
      • 語数ファイルをピボットテーブルで集計して分母に
  • 調整頻度には100万語あたりの頻度(pmw)が比較的よく使われる
    • 粗頻度/総語数*1000000
      • 数字が小さくなりすぎないようにするため

ランダムサンプリング調査(Excelでの集計・補足)

  • 大量に用例があり、調査内容からすべて対象にできない場合
  • ランダムに並べ替え→先頭n例を調査対象に
    • ランダムな数字の列: =RAND()
    • ランダムな数字の列をコピーして「値として貼り付ける」と数字が固定される

NINJAL LWP for BCCWJの紹介

  • http://nlb.ninjal.ac.jp/
  • ワードプロファイラー
    • 語の振る舞いの概略を見るのに手軽でたいへん便利
  • 注意点
    • UniDic体系でない(=本来のBCCWJではない)
    • データソースはBCCWJの一部だけ
    • 係り受け解析は誤りも多い

補足

2015/11/13

検索の例つづき

  • 「検索課題」配付資料参照

検索の例

  • 短単位で検索(unit="1")
キー: (語彙素 LIKE "[男女]" AND (語彙素読み="オトコ" OR 語彙素読み = "オンナ")) 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND  tglFixVariable="2"
キー: (語彙素="男性" OR 語彙素 = "女性") 
WITH OPTIONS unit="1" AND tglWords="20" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2"
  • 以下は長単位で検索(unit="2")。一括検索なのでzipファイルに圧縮される。
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 = "男性") ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 = "女性") ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 = "男" AND 語彙素読み="オトコ") ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";
キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%") 
AND 後方共起: (語彙素 = "女" AND 語彙素読み = "オンナ") ON 1 WORDS FROM キー 
WITH OPTIONS unit="2" AND tglWords="10" AND limitToSelfSentence="0" AND 
endOfLine="CRLF" AND tglKugiri="|" AND encoding="UTF-16LE" AND tglFixVariable="2";

レポートテーマについて

  • 次回までにレポートテーマを考えてくること(全員に聞きます)
  • 普段から見聞きする言葉に気をつけるとともに、図書館も活用すること
  • ひとつの言葉から、同種の別の語や違う観点からの観察などへと膨らませていく

表記

  • 「雀」「すずめ」「スズメ」動植物名の表記・・・レジスター別用例数、文体差
  • 「卵」「玉子」「たまご」「タマゴ」・・・意味の違い?文体差?
  • 「斡旋」「あっ旋」「あっせん」、「石鹸」「石けん」「せっけん」・・・常用漢字表外字を含む漢語の表記の揺れ

類義語・対義語

  • 「奇麗」と「美しい」・・・連体修飾する名詞の違い(→意味の違い)
  • 「うるさい」「やかましい」「さわがしい」「かしましい」「かまびすしい」類義語・・・共起語、文体差
  • 「男性」と「女性」(「男」と「女」)・・・語彙の非対称性、社会言語学的分析

語形、語法

  • 「好ましい」「好もしい」・・・語形の揺れと文体差
  • 「煙草を吸う」と「煙草をのむ」・・・用例数の割合、「煙草をのむ」の出現条件

新語・意味変化

  • 「断トツ」「定番」「夜ご飯」・・・新語の広がり
  • 「役不足」「確信犯」・・・”誤用”と”正用”

2015/11/06

「中納言」の利用:形態論情報を使った検索 つづき

  • 配布資料「『中納言』概説・実習」最後まで
    • 資料はポータルの「授業資料」からダウンロードできます。

検索条件式

キー: 語彙素 = "奇麗" IN core="true" WITH OPTIONS unit="1" AND tglWords="20" AND tglKugiri="|" AND tglFixVariable="2"

検索結果をExcelで利用する

  • 前回資料(5.)参照

「中納言」検索結果のダウンロードとExcelでの利用

  1. ダウンロード
  2. Excelでインポート

Excelの基礎

  • 並べ替え
    • 反転前文脈の使い方
  • フィルタ
    • テキストフィルタ

【重要】ピボットテーブルの使い方

  • ピボットテーブル
  • ピボットグラフ

「検索課題」

  • 配付資料参照

2015/10/30

「中納言」の利用つづき

  • 前回配布資料「『中納言』の使い方」つづき (ポータルの「授業資料」からダウンロードできます)

2015/10/23

「中納言」の利用:形態論情報を使った検索

  • 配布資料「『中納言』の使い方」 (ポータルの「授業資料」からダウンロードできます)
  • 配布資料は次回以降も使いますので必ず持ってきてください。

2015/10/09

  • 先週申し込んだ人にはアカウントを発行しました。メールを確認してログインして下さい。

コーパスの形態論情報

  • 短単位と長単位
    • (配付資料)参照
    • (スライド)参照

2015/10/02

「中納言」利用申込み

  • 前回申し込んでいない人は提出してください。

日本語コーパスの紹介(2) コーパスの設計とサンプリング

  • (スライド参照) 第2回コーパスの設計とサンプリング
  • 均衡コーパス(Balanced corpus)
    • 「バランスがとれている」とは?
    • コーパスの母集団の設定とサンプリング
    • BCCWJのサブコーパス
    • 可変長と固定長
  • 著作権をめぐる問題

参考リンク

2015/9/25

「中納言」利用申込み

  • 申込用紙を配布します。押印して次回、必ず持ってきてください。

現代日本語書き言葉均衡コーパス(BCCWJ)とは

  • BCCWJについて、まず最小限のことを説明します。
  • BCCWJ少納言
    • 登録不要
    • 文字列検索のみ
    • 500例まで表示
  • BCCWJ中納言
    • 要登録
    • 形態論情報を使った検索
    • 全件(一度に最大10万例まで)ダウンロード可

日本語コーパスの紹介(1)コーパスとはどんなものか

狭義のコーパス
言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
広義のコーパス
コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
  • この授業で扱うのは狭義のコーパス。中でも「現代日本語書き言葉均衡コーパス(BCCWJ)」
  • 日本語コーパス以前のデータとBCCWJの違いは
  • (スライド参照)

2015/09/18

イントロダクション

  • シラバス確認
    • シラバス
    • この授業の目的
    • 授業の進め方
    • 評価方法
  • アンケート

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS