九州大学:国語学講義 III / 日本語学方法論特論 III

コーパス日本語学


6月10日(第10回) 関数の利用

ランダムサンプリング調査(再)

出現サンプル数の調査(重複の削除)

用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合

6月10日(第9回)  Excelによる検索結果の集計2 :ちょっとした応用

複数の検索結果の結合(復習)

一度にピボットテーブルで集計できるように一つの表にまとめる

ショートカットキーを活用すると便利

  1. 表をコピー
    • Ctrl+Home*4(表の左上へ移動), ↓(列名は選択しないようにするため1行下へ),Shift+Ctrl+End, Ctrl+C(コピー)
  2. コピーした表を既存の表の下に貼り付け
    • Ctrl+↓(表の一番下の行に移動), ↓(1行下へ), Ctrl+V(貼り付け)

(補足)ショートカットキーについて

集計用の列を自分で用意する

ランダムサンプリング調査

6月3日(第8回) 「Excelによる検索結果の集計

「中納言」検索結果のダウンロードとExcelでの利用

  1. ダウンロード
  2. Excelでインポート

Excelの基礎

【重要】ピボットテーブルの使い方

5月27日(第7回) 「中納言」の使い方2:検索条件の指定

位置情報と用例へのパーマリンク

検索条件式の利用

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

検索結果のダウンロードとExcelでの利用

5月20日(第6回) コーパス検索アプリケーション「中納言」

5月13日(第5回) コーパスの形態論情報(2)

品詞体系

形態素解析を試してみる

形態素解析とその仕組み

中納言の使い方

5月6日(第4回) コーパスの形態論情報

紙の資料からコーパスまで 〜テキストの電子化とアノテーションの高度化

  1. (紙の)本文
  2. (紙の)総索引(コンコーダンス)
  3. 電子テキスト:テキスト (199x年代〜)
  4. 構造化テキスト:テキスト+XMLによる構造化タグ (200x年代〜)
  5. 単語情報付きのコーパス:テキスト+XMLによる構造化タグ+形態論情報 (201x年代〜)

電子化とアノテーション(明六雑誌コーパスを例に)

コーパスの形態論情報(1)

4月22日(第3回) コーパスの設計2

Moodleに置いたスライド参照

「現代日本語書き言葉均衡コーパス」(BCCWJ)の構成とサンプリング (つづき)

「日本語歴史コーパス」(CHJ)の構成

近世以前
残されている資料が少なく、できるだけ(可能なら全部)コーパスに入れたい
近世(後期)以降
偏りはあるものの選べるだけの資料があるが、それでもなるべく全文でいれたい(作品など資料単位で調査したい)

近代語コーパスの場合

利用する側から見たコーパスの設計

4月15日(第2回) コーパスの設計

「中納言」のアカウントについて

(以下、Moodleに置いたスライドも参照

コーパスとは

狭義のコーパス
言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
  • 現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ)
広義のコーパス
コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
  • さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
  • Web上のデータ
    • 検索サイトの利用
    • WAC(Web as Corpus)

コーパスに求められるもの

「現代日本語書き言葉均衡コーパス」(BCCWJ)の構成とサンプリング

参考リンク

4月8日(第1回)イントロダクション/日本語コーパスの紹介

イントロダクション

授業内容等の確認

「中納言」アカウントについて

授業で利用する主なソフトウェア・Webアプリケーション(予定)

ソフトウェアの種類・名前利用目的
コーパス検索アプリケーション「中納言」コーパスの検索
表計算ソフトExcelピボットテーブルによる分析・グラフ作成
Web茶まめ形態素解析
テキストエディタ サクラエディタ正規表現を使ったテキストの検索・整形
ワープロWord「スタイル」を利用したレポート作成
全文検索ソフトひまわりデータの検索,ミニコーパスの作成
Rデータの統計分析

授業内容デモ


*1 Macの場合はCommand
*2 EndキーはノートPCではしばしばFn+→
*3 EndがFn+→の場合は、Shift+Ctrl+Fn+→を同時押し
*4 EndキーはノートPCではしばしばFn+←
*5 サンプル先頭からの文字数を10倍したもの

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-06-10 (木) 12:16:32