東京外大2016

Japan Studies 1:コーパス日本語学入門


レポートについて

アクティブラーニング(第2回)

2016/06/23

アクティブラーニング(第1回)

レポートテーマについて

コロケーション強度の話

コロケーション強度をはかるスコアには様々なものがあり、それぞれに特徴がある

(例)

それぞれの数値の調べ方

2016/06/16

調整頻度の計算

ランダムサンプリング調査

重複の削除

用例数ではなく、用例が一つでも出現したサンプルの数を調べたい場合

vlookupの使い方

レポートテーマについて

2016/06/09

テキストエディタと正規表現の応用

Excelの文字列関数とIF関数

BCCWJ利用の落とし穴

2016/06/02

「中納言」検索結果のダウンロードとExcelでの利用

  1. ダウンロード
  2. アーカイブの展開(解凍)
  3. Excelでインポート

Excelの基礎

【重要】ピボットテーブルの使い方

複数の検索結果の結合

ショートカットキーを活用すると便利

  1. 表をコピー
    • Ctrl+Home, ↓(列名はコピーしないようにする),Shift+Ctrl+End, Ctrl+C
  2. コピーした表を既存の表の下に貼り付け
    • Ctrl+End, Home, ↓, Ctrl+V, Ctrl+Home

集計用の列を自分で用意する

質問対応

2016/05/26

(復習)形態論情報を使った検索

検索条件式の利用

キー: (品詞 LIKE "形容詞%" AND 活用形 LIKE "連体形%")
 AND 後方共起: 語彙素="言葉" ON 1 WORDS FROM キー
 WITH OPTIONS tglKugiri="|" AND tglBunKugiri="#" AND limitToSelfSentence="1"
AND tglFixVariable="2" AND tglWords="20" AND unit="1" AND encoding="UTF-16LE" AND endOfLine="CRLF"

2016/05/19

短単位と長単位

品詞体系と見出し語の階層

形態論情報を使った検索

2016/05/12

コーパスの段階

  1. 電子テキスト:grep: 文字列(正規表現)検索
  2. 構造化テキスト:ひまわり少納言 など: 文字列(正規表現)検索
  3. 形態論情報付きコーパス:中納言、ChaKi など: 形態論情報による検索(タグ検索)

コーパスの設計とサンプリング

「少納言」で正規表現を使う

BCCWJ「中納言」登録申請

2016/04/28

正規表現のいろいろ

正規表現の応用

grepと置換でKWIC(CSVファイル)を作る(簡易版)

タグ付き正規表現

検索文字列の中での後方参照

最長一致の原則(greedy matching)

正規表現に関する参考資料

#amazon(4873114500) #amazon(4873113598)

2016/04/21

テキストエディタ

ショートカットキー

正規表現を使ってみる

正規表現とは

2016/04/14

「コーパス」について

狭義のコーパス
言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
  • 現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ)
広義のコーパス
コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
  • さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
  • Web上のデータ
    • 検索サイトの利用
    • WAC(Web as Corpus)

紙の資料からコーパスまで

  1. (紙の)本文
  2. (紙の)総索引(コンコーダンス)
  3. 電子テキスト
  4. 構造化テキスト
  5. 形態論情報付きコーパス

テキストファイル

2016/04/07

イントロダクション/日本語コーパスの紹介


トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS