FrontPage

日本語学講義Ⅱ(コーパス日本語学入門)

レポート提出について

オンラインで開催する授業回について

07/12 第13回 タグ付き正規表現/Wordの使い方

練習用テキストデータ

タグ付き正規表現

「中納言」インラインタグ機能とエディタの利用

Wordの使い方

07/05 第12回 テキストエディタと正規表現

テキストエディタ

テキストデータと文字コード

練習用テキストデータ

正規表現を使ってみる

VSCodeの検索で「.*」をクリックして正規表現モードをオン

正規表現のいろいろ

正規表現の応用

06/28 第11回 VLOOKUP関数/テキストエディタ

レポートテーマについて(続き)


VLOOKUP関数の利用

コーパスの語彙表

語彙表とコロケーション強度

テキストエディタの準備

準備:VS Codeのインストールと設定

  1. VS codeのインストール ★次週までにこれだけはやっておく
  2. 拡張機能 Japanese Language Packの追加
  3. ファイルオープン時にエンコーディングを自動判別するよう設定

デモ

Excelで中納言検索結果の列を丸ごとコピーし、エディタで整形した後、Excelに貼り付ける

※慣れると文字列関数よりも早くて便利

06/21 第10回 関数の利用/レポートテーマについて

レポートテーマについて

集計用の列を自分で用意する(復習)

Excelの文字列関数

集計に必要な情報をフィールドから切り出すことで集計に使う

06/14 第9回 調整頻度の計算(2)/関数の利用/レポートテーマについて【オンライン】

クロス集計表の調整頻度をまとめて計算

ランダムサンプリング調査

出現サンプル数の調査(重複の削除)

用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合

集計用の列を自分で用意する

レポートテーマについて

06/07 第8回 Excelによる検索結果の集計(2)/調整頻度の計算(1)【オンライン】

ピボットテーブルの使い方(復習)

複数の検索結果の結合

ショートカットキーを活用すると便利

  1. 表をコピー
    • Ctrl+Home*6(表の左上へ移動), ↓(列名は選択しないようにするため1行下へ),Shift+Ctrl+End, Ctrl+C(コピー)
  2. コピーした表を既存の表の下に貼り付け
    • Ctrl+↓(表の一番下の行に移動), ↓(1行下へ), Ctrl+V(貼り付け)

一度にピボットテーブルで集計できるように一つの表にまとめる

複数の検索結果を一つにまとめるもう一つの方法

キー: 語彙素="ビール";
キー: 語彙素="ワイン";
キー: 語彙素="ブランデー";
キー: 語彙素="ウイスキー";
キー: 語彙素="焼酎";
キー: 語彙素="葡萄" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー;
キー: 語彙素="日本" AND 後方共起: 語彙素="酒" ON 1 WORDS FROM キー;

BCCWJ利用の落とし穴

bccwj-wc.png

どのコーパスにも向き不向きがあり、設計を踏まえた適切な利用が必要

調整頻度の計算

調整頻度(pmw)

各コーパスの語数表

※語数表はコーパスの(サンプルごとの)語数をまとめた表。語彙表はコーパスの語彙(見出し語)ごとの使用頻度をまとめたもの

05/31 第7回 『中納言』の使い方(3)/Excelによる検索結果の集計(1)【オンライン】

(復習)中納言検索課題

周辺語検索(検索条件式のみ)

キー: 品詞 LIKE "名詞%"
 AND 共起: 語彙素="美しい" BETWEEN -3 AND 3 WORDS FROM キー

検索結果のダウンロードとExcelでの利用

05/24 第6回 『中納言』の使い方(2)

復習

「中納言の使い方」

検索条件式の利用

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

↓これだけでもいい(IN 以下の検索対象コーパスやWITH OPTIONS 以下は式で指定がない場合、検索画面での設定に従う)

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー

OR検索

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: (語彙素="言葉" OR 語彙素="言語") ON 1 WORDS FROM キー

位置情報と用例へのパーマリンク

検索結果のダウンロード

05/17 第5回 『中納言』の使い方

(前回補足)形態素解析を試してみる

「中納言の使い方」

05/10 第4回 コーパスの形態論情報【オンライン】

コーパスの形態論情報

品詞体系

コーパスへの形態論情報の付与

参考資料

04/28 第3回 日本語コーパスの紹介(2)

『日本語日常会話コーパス』『日本語歴史コーパス』『昭和・平成書き言葉コーパス』

「日本語日常会話コーパス」(CEJC)の構成

(以下スライド参照)

「日本語歴史コーパス」(CHJ)の構成

近世以前
残されている資料が少なく、できるだけ(可能なら全部)コーパスに入れたい
近世(後期)以降
偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい(作品など資料単位で調査したい)

近代語コーパスの場合

「昭和・平成書き言葉コーパス」(SHC)の構成

雑誌
1933~1957 年刊の『中央公論』と1965~2013 年刊の『文芸春秋』(8年おき11か年分)
ベストセラー書籍
1933年以降、8年おき11か年のベストセラー書籍
新聞
1933年以降、8年おき11か年の『読売新聞』奇数月2日の朝刊1冊

利用する側から見たコーパスの設計

04/19 第2回 日本語コーパスの紹介(1)

『現代日本語書き言葉均衡コーパス』『昭和・平成書き言葉コーパス』

「中納言」授業アカウントの配布

コーパスを使ってみる

コーパスとは

(以下スライド参照)

狭義のコーパス
言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
  • 現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ)
広義のコーパス
コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。

コーパスへの要請

「現代日本語書き言葉均衡コーパス」(BCCWJ)の構成とサンプリング


参考リンク

04/12 第1回 イントロダクション

授業内容等の確認

「中納言」アカウントについて

授業で利用する主なソフトウェア・Webアプリケーション(予定)

ソフトウェアの種類・名前利用目的
コーパス検索アプリケーション「中納言」コーパスの検索
表計算ソフトExcelピボットテーブルによる分析・グラフ作成
ワープロWord「スタイル」を利用したレポート作成
Web茶まめ形態素解析

授業内容デモ

(参考動画)


*1 を空文字列に置換。以下同じ
*2 実際に検索してみてできそうなものと難しそうなものが含まれています
*3 Macの場合はCommand
*4 EndキーはノートPCではしばしばFn+→
*5 EndがFn+→の場合は、Shift+Ctrl+Fn+→を同時押し
*6 HomeキーはノートPCではしばしばFn+←
*7 サンプル先頭からの文字数を10倍したもの

トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2024-07-12 (金) 15:06:27