テキスト処理の基礎（2017）

日本語コーパス構築のための テキスト処理の基礎

～言語処理やプログラミング以前の基礎知識

2017/06/06　テキストデータと正規表現

テキストデータ

• テキストファイル
  • 授業資料/テキストデータとは
  • 拡張子 txt,csv,tsv,htm,xml
  • サンプルデータ soseki2.zip
  • テキストエディタ
    • サクラエディタ
    • 授業資料/テキストエディタ
    • 論理行番号
    • 検索,置換,grep,タグジャンプ
    • ショートカットキー
• 文字コード=符号化文字集合
  • テレタイプの話から
    • 制御記号
    • 改行コード CR, LF, CRLF
  • 文字集合(character set)
  • 符号化方式(character encoding)
  • やや古いがよく使われる文字コード：Shift_JIS, CP932, EUC-JP
  • Unicodeの符号化方式UTF-8, UTF-16
    • (LE(Little Endian), BE(Big Endian))
    • BOM(Byte Order Mark)
    • BMP（基本多言語面）とサロゲートペア

• (参考) http://www.kanzaki.com/docs/jcode.html
• (参考) https://codezine.jp/article/detail/1592 ※

• 正規表現（grepからタグ付き正規表現まで）
  • 授業資料/正規表現
    • 文字クラス [ ]
    • 文字クラスの否定（補集合）[^ ]
    • 繰り返し（最長一致） ? + * ※
    • 繰り返し最短一致 +? *? ※
    • n回以上m回以下のくり返し {n,m} ※
    • グループ化 ()
    • or（論理和） |
    • 文頭 ^、文末 $
  • タグ付き正規表現
    • カッコ（半角丸カッコ）と\1（\2，\3…）を使う
    • タグ付けへの応用例　(「.+?」) -> <quote>\1</quote> ※
  • 後方参照
    • マッチした部分を検索語の中で再利用する　例： (..)\1

2017/06/13　プレーンテキストからXMLへ

XML

• マークアップ言語とXML
  • HTMLとXML
    • SGML,XHTML
  • タグ、要素、属性、属性値
    • 開始タグ <tag>、終了タグ </tag>
    • <タグ 属性="属性値">テキスト<子要素/></タグ>
  • 空要素
    • <br/>と<br></br>　XMLとして等価
  • ルート要素
    • XML宣言

      <?xml version="1.0" encoding="Shift_JIS" ?>

    • encoding宣言
    • XML宣言の省略
  • 文字参照

    <, >, &
    曽

  • ホワイトスペース

• XPath
  • ノード(node)と軸(Axis)
    • 省略記法
  • 述語(predicate)

• (参考) http://gogodiet.net/z/xml/7.htm
• (参考) http://qiita.com/merrill/items/aa612e6e865c1701f43b

• XSLT
  • HTMLへの変換
  • ひまわり用XSLT

• (参考) http://www.atmarkit.co.jp/fxml/tanpatsu/xslt/xslt00.html

• XMLの文書型定義と検証
  • XML文書の検証(validation)
  • Well-formed（整形式）
  • Valid（妥当）
    • DTD
    • XMLスキーマ(xsd)
    • RELAX NG

• Oxygen
  • XPathによる検索*1
  • スキーマの自動生成

その他

テキストデータとExcel

• ピボットテーブル
• 文字列関数
  • LEFT, RIGHT, MID 文字列の一部を取り出す
  • LEN 文字列の長さ
  • SEARCH 文字列から一致する部分文字列を探す
  • SUBSTITUTE 文字列を置換する
• IF, IFERROR
  • =IFERROR(LEFT(<品詞>,SEARCH("-",<品詞>)-1),<品詞>)
• VLOOKUP
• データ処理に適した形式
  • http://honeshabri.hatenablog.com/entry/vlookup

コマンドラインツール*2

• bash on Windows?
  • とりあえずファイル操作　dir[ls], copy[cp], del[rm], move[mv], ren[rename], mkdir/rmdir
  • バッチファイル[シェルスクリプト] .bat[.sh]
  • (diff)
  • (パイプ)

• ツールを組み合わせた処理*3
  • テキストエディタ、Excel、コマンドラインを自由に行き来する

最新の10件