*日本語学講義(I) 日本語コーパス研究入門 [#nfef3a22]

-授業に関するメールはこちらへ。小木曽 智信: ogiso@ogiso.net
-[[授業資料/用語集リンク]] (わからないコンピュータ用語を調べてください)
-授業フォルダ \\Linkstation\share\日本語コーパス
//--[[シラバス>https://syllabus.hit-u.ac.jp/WebSyllabus/Syllabus/WFS02030S.aspx?target=_blank]]

***【重要】''BCCWJモニター公開データ''を申し込んでください。 [#w462a8bd]
-http://www.ninjal.ac.jp/kotonoha/ex_8.html

***持ち帰り用データ [#x85be6ee]
-授業フォルダの「持ち帰り用」フォルダ内にある「ひまわり」のデータ、青空文庫のテキストはコピーして持ち帰ってかまいません。


**5/6:休講
**4/29:祝日

-次の授業まで間が空きますので、次の資料を読み、なるべく実際に試して予習しておいてください。
--[[秀丸エディタの使い方>http://home.ogiso.net/wiki/pukiwiki.php?plugin=attach&pcmd=open&file=%BD%A8%B4%DD%A5%A8%A5%C7%A5%A3%A5%BF%A4%CE%BB%C8%A4%A4%CA%FD.pdf&refer=%BC%F8%B6%C8%BB%F1%CE%C1]]
--[[授業資料/正規表現]]


**第3回 2009/04/22  テキストエディタの利用 [#h5039c4a]
***復習
-検索で初出行を調べる
-置換で用例数を数える
-grepとタグジャンプ

***grepと置換でKWIC(CSVファイル)を作る [#u3ab2d6f]
-grep結果の保存
-grep結果の置換による整形
-CSVファイルとは:テキストファイルで表を表現する
[[用語:CSVファイル>http://e-words.jp/w/CSV.html]]
-KWICとは:KeyWord In Context

***ショートカットキー [#f0022be4]
-[[授業資料/覚えておきたいショートカットキー]]

***おすすめテキストエディタ [#oa8d82a7]
-フリーウェア
--K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】
--Apsalyテキストエディタ http://www.vector.co.jp/soft/win95/writing/se423509.html 【SJIS】
--サクラエディタ http://sakura-editor.sourceforge.net/ 【SJIS】unicode版開発中
-シェアウェア
--EmEditor http://jp.emeditor.com/ 4,200円
--秀丸エディタ http://hide.maruo.co.jp/software/hidemaru.html 4,200円

***正規表現とは [#d216d4e0]

-''正規表現'' [[>用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]]
--文字を表すための特殊な文字(メタ文字)
--置換・検索・grepで利用できる
--記号はすべて半角
--特殊文字そのものを表す場合には\でエスケープする(特殊な意味を打ち消す) 例:1\+2

-文字クラス [ ]
-文字クラスの否定(補集合)[^ ]
(つづく)

**第2回 2009/04/15  テキストデータとテキストエディタ
最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。
-共有フォルダの確認
--マイネットワーク>share>日本語コーパス

***(補足)「コーパス」について [#k44345b6]
この授業ではBCCWJ(モニター公開版)のほかに、青空文庫・国会会議録などの広義のコーパス、自作のミニコーパスなども取り扱います。
-狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。
--Kotonoha (BCCWJ / CSJ / 太陽コーパス)
-広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究にも利用可能。
--さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録)
--Webデータ
---検索サイトの利用
---WAC(Web as Corpus)

***テキストデータ [#wee47413]

全ての基本。テキストデータ≒テキストファイル≒電子化テキスト

-テキストデータとはどんなものか
--[[授業資料/テキストデータとは]]
--[[授業資料/文字コード関連リンク]]
--[[授業資料/テキストデータ紹介]](広義のコーパス)
---参考 [[『国会会議録を使った日本語研究』>http://www.hituzi.co.jp/books/299.html]]

#amazon(4894762994)

***テキストファイルと拡張子 [#c15ea011]
-[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%A1%E5%BC%B5%E5%AD%90]]
-拡張子辞典:http://jisyo.com/viewer/list/list.html
-TXT,CSV,HTM・・・

***テキストエディタ [#q7ae852c]
-テキストエディタとはどんなものか
--[[授業資料/テキストエディタ]]

***テキストエディタの基礎 [#l73e457c]
-スタイル行番号(ワープロ的行番号)と論理行番号(エディタ的行番号)
--cf. 見た目 と 構造
-検索と置換、grep


**2010/04/08 イントロダクション [#p494942d]
-[[自己紹介]]
-[[国立国語研究所(NINJAL)>http://www.ninjal.ac.jp/]]
-国語研コーパスの紹介([[KOTONOHA>http://www.ninjal.ac.jp/kotonoha/]])
--現代日本語書き言葉均衡コーパス(BCCWJ)
---[[特定領域 日本語コーパス>http://www.tokuteicorpus.jp/]]
---[[検索デモサイト>http://www.kotonoha.gr.jp/cgi-bin/search_form.cgi?viaTopPage=1]]
--日本語話し言葉コーパス(CSJ)
--太陽コーパス(明治・大正期の総合雑誌)
--通時コーパス(設計中)

-授業の進め方について
--受講者のレベルにあわせて基礎的なことから始め、自分の研究に実際に活かせるようになることを目指します。
--[[シラバス>https://syllabus.hit-u.ac.jp/websyllabus/userattestation/]]確認

-受講者アンケート
--専門・関心領域
--PCスキル

-デモンストレーション
--茶まめ(形態素解析)+Excel

***授業で利用する主なソフトウェア [#i06478d2]
|''[[秀丸エディタ>http://hide.maruo.co.jp/software/hidemaru.html]]''|テキストエディタ|検索・整形|
|''[[Excel>http://office.microsoft.com/ja-jp/excel/default.aspx]]''|表計算ソフト|集計・分析・グラフ作成|
|''[[Access>http://office.microsoft.com/ja-jp/access/default.aspx]]''|データベースソフト|集計・分析|
|''[[Word>http://office.microsoft.com/ja-jp/word/default.aspx]]''|ワープロ|レポート作成|
|''[[ひまわり>http://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]]''|全文検索ソフト|検索・分析|
|''[[MeCab>http://mecab.sourceforge.net/]]''|形態素解析器|形態素解析|
|''[[UniDic>http://download.unidic.org]]''|形態素解析辞書|~|

このほかにWeb上で利用できるサービスも取り上げます。
-''[[コーパス検索ツール:中納言>http://morph.kotonoha.gr.jp/login.aspx]]''

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS