東京外大2016

Japan Studies 1:コーパス日本語学入門

2016/04/28

正規表現のいろいろ

正規表現の応用

grepと置換でKWIC(CSVファイル)を作る(簡易版)

タグ付き正規表現

検索文字列の中での後方参照

最長一致の原則(greedy matching)

正規表現に関する参考資料

#amazon(4873114500) #amazon(4873113598)

「少納言」で正規表現を使う

2016/04/21

テキストエディタ

ショートカットキー

正規表現を使ってみる

正規表現とは

2016/04/14

「コーパス」について

狭義のコーパス
言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
  • 現代日本語書き言葉均衡コーパス(BCCWJ) / 日本語歴史コーパス(CHJ)
広義のコーパス
コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。
  • さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
  • Web上のデータ
    • 検索サイトの利用
    • WAC(Web as Corpus)

紙の資料からコーパスまで

  1. (紙の)本文
  2. (紙の)総索引(コンコーダンス)
  3. 電子テキスト
  4. 構造化テキスト
  5. 形態論情報付きコーパス

テキストファイル

2016/04/07

イントロダクション/日本語コーパスの紹介


トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS