*日本語学講義(I) 日本語コーパス研究 [#nfef3a22] -授業に関するメールはこちらへ。小木曽 智信: ogiso@ogiso.net -[[授業資料/用語集リンク]] (わからないコンピュータ用語を調べてください) -授業フォルダ \\Linkstation\share\日本語コーパス //--[[シラバス>https://syllabus.hit-u.ac.jp/WebSyllabus/Syllabus/WFS02030S.aspx?target=_blank]] ***【重要】''BCCWJモニター公開データ''を申し込んでください。 [#w462a8bd] -http://www.kokken.go.jp/kotonoha/ex_8.html -「現在のモニター公開データ(2008年度版)は,配布の際のデータの交錯をふせぐため,5月29日までで受け付けを中止し,7月に再開する予定です」とのことですので、早めに申し込んでください。 **今後の予定(あくまでも予定です) [#ud20c4e5] -第8回 関係データベース --関係データベースとは --Access --形態素解析結果をデータベースに読み込む --解析結果の比較・分析 --クエリの作成・SQL -第7回 形態素解析 --形態素解析とは --UniDicを使う --解析結果の利用(Excel) -第6回 ミニコーパスを作る --自分でミニコーパスを作るには --マークアップ言語 --HTML,XML --「えだまめ」の利用 -第5回 「ひまわり」と表計算ソフトの利用 --「ひまわり」の利用 --「ひまわり」の正規表現 --Excelの基本操作 --オートフィルタ --ピボットテーブル・ピボットグラフ --関数の利用 --エディタと組み合わせて使う **第4回 2009/05/01 正規表現 [#m36f1070] -[[秀丸エディタの使い方(PDF)>http://home.ogiso.net/wiki/pukiwiki.php?plugin=attach&pcmd=open&file=%BD%A8%B4%DD%A5%A8%A5%C7%A5%A3%A5%BF%A4%CE%BB%C8%A4%A4%CA%FD.pdf&refer=%BC%F8%B6%C8%BB%F1%CE%C1]] ***正規表現とは [#d216d4e0] -''正規表現'' [[>用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字(メタ文字) --置換・検索・grepで利用できる --記号はすべて半角 --特殊文字そのものを表す場合には\でエスケープする(特殊な意味を打ち消す) 例:1\+2 ***正規表現のいろいろ [#q514651f] -[[授業資料/正規表現]] --文字クラス [ ] --文字クラスの否定(補集合)[^ ] --繰り返し ? + * --グループ化 () --or(論理和) | --文頭 ^、文末 $ -最長一致の原則(greedy matching)について ***正規表現の応用 [#c7a3ea2d] --カタカナ語 --送りがなの揺れ(行う/行なう) --''全然~ない。'' --会話文中(''「''で始まる) ***タグ付き正規表現 [#dd2b7122] -走[らりるれろ] でGrepした結果を置換するにはどうしたらいいか --次のように置換するととんでもないことに… ---検索文字列:走[らりるれろ] ---置換文字列:★走[らりるれろ] -タグ付き正規表現・カッコ(半角丸カッコ)と\1(\2,\3…)を使う -[[授業資料/タグつき正規表現]] ***正規表現に関する本 [#a3414e4f] -[[amazonで検索>http://www.amazon.co.jp/s/ref=nb_ss_gw?__mk_ja_JP=%83J%83%5E%83J%83i&url=search-alias%3Daps&field-keywords=%90%B3%8BK%95%5C%8C%BB&Go.x=0&Go.y=0&Go=Go]] #amazon(4873111706) #amazon(4873113598) #clear ***おすすめテキストエディタ [#oa8d82a7] -フリーウェア --K2Editor http://k2top.jpn.org/index.php?K2Editor 【SJIS】 --Apsalyテキストエディタ http://www.vector.co.jp/soft/win95/writing/se423509.html 【SJIS】 --サクラエディタ http://sakura-editor.sourceforge.net/ 【SJIS】unicode版開発中 -シェアウェア --EmEditor http://jp.emeditor.com/ 4,200円 --秀丸エディタ http://hide.maruo.co.jp/software/hidemaru.html 4,200円 **第3回 2009/04/24 テキストエディタの利用 [#h5039c4a] -復習 --検索で初出行を調べる --置換で用例数を数える -grepとタグジャンプ --grep --タグジャンプ --grep結果の保存 ***grepと置換でKWIC(CSVファイル)を作る [#u3ab2d6f] -grep結果の置換による整形 -CSVファイルとは:テキストファイルで表を表現する [[用語:CSVファイル>http://e-words.jp/w/CSV.html]] -CSVファイルをExcelで開く -KWIC:KeyWord In Context ***テキストファイルと拡張子 [#c15ea011] -[[拡張子(wikipedia)>http://ja.wikipedia.org/wiki/%E6%8B%A1%E5%BC%B5%E5%AD%90]] -拡張子辞典:http://jisyo.com/viewer/list/list.html -TXT,CSV,HTM・・・ ***ショートカットキー [#f0022be4] -[[授業資料/覚えておきたいショートカットキー]] ***正規表現とは [#d216d4e0] -''正規表現'' [[>用語>http://e-words.jp/w/E6ADA3E8A68FE8A1A8E78FBE.html]] --文字を表すための特殊な文字(メタ文字) --置換・検索・grepで利用できる --記号はすべて半角 --特殊文字そのものを表す場合には\でエスケープする(特殊な意味を打ち消す) 例:1\+2 -文字クラス [ ] -文字クラスの否定(補集合)[^ ] (続きは次回) **第2回 2009/04/17 テキストデータとテキストエディタ [#g53e1e46] ***コーパスについて [#k44345b6] この授業ではBCCWJ(モニター公開版)・太陽コーパスのほか、青空文庫・国会会議録などの広義のコーパスも取り扱う。 -狭義のコーパス 言語研究を目的として収集され、言語研究のための情報が付けられたコンピュータ上で利用可能な大規模な言語データ。 --Kotonoha (BCCWJ / CSJ / 太陽コーパス) -広義のコーパス コンピュータ上で利用可能な大規模な言語データ。必ずしも言語研究向きではないが、言語研究に利用可能。 --さまざまなテキストアーカイブ(新潮文庫の百冊 / 青空文庫 / 国会会議録) --Webデータ ---検索サイトの利用 ---WAC(Web as Corpus) ***授業で利用する主なソフトウェア [#i06478d2] |''[[秀丸エディタ>http://hide.maruo.co.jp/software/hidemaru.html]]''|テキストエディタ|検索・整形| |''[[ひまわり>http://www.kokken.go.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9]]''|全文検索ソフト|検索・分析| |''[[MeCab>http://mecab.sourceforge.net/]]''|形態素解析器|形態素解析| |''[[UniDic>http://download.unidic.org]]''|形態素解析辞書|~| |''[[Excel>http://office.microsoft.com/ja-jp/excel/default.aspx]]''|表計算ソフト|集計・分析・グラフ作成| |''[[Access>http://office.microsoft.com/ja-jp/access/default.aspx]]''|データベースソフト|集計・分析| |''[[Word>http://office.microsoft.com/ja-jp/word/default.aspx]]''|ワープロ|レポート作成| このほかにWeb上で利用できるサービスも取り上げます。 最初に、テキストエディタを使ってテキストデータを扱うことからはじめます。 -共有フォルダの確認 --マイネットワーク>share>日本語コーパス ***テキストデータ [#wee47413] 全ての基本。テキストデータ≒テキストファイル≒電子化テキスト -テキストデータとはどんなものか --[[授業資料/テキストデータとは]] --[[授業資料/テキストデータ紹介]](広義のコーパス) ---参考 [[『国会会議録を使った日本語研究』>http://www.hituzi.co.jp/books/299.html]] #amazon(4894762994) --[[授業資料/文字コード関連リンク]] ***テキストエディタ [#q7ae852c] -テキストエディタとはどんなものか --[[授業資料/テキストエディタ]] ***テキストエディタの基礎 [#l73e457c] -スタイル行番号(ワープロ的行番号)と論理行番号(エディタ的行番号) --cf. 見た目 と 構造 -検索と置換 -grep **2009/04/10 イントロダクション [#p494942d] -[[自己紹介]] -国語研コーパスの紹介([[KOTONOHA>http://www.kokken.go.jp/kotonoha/]]) --現代日本語書き言葉均衡コーパス(BCCWJ) [[日本語コーパス>http://www.tokuteicorpus.jp/]]:http://www.tokuteicorpus.jp/ --日本語話し言葉コーパス(CSJ) --太陽コーパス -授業の進め方について --シラバス確認 -デモンストレーション --茶まめ(形態素解析)+Excel -受講者アンケート --専門・関心領域 --PCスキル