日本語テキスト処理基礎講座2023/②Excelの利用

日本語テキスト処理基礎講座2023

②Excelの利用†

表形式データの基本～見た目と構造の話†

ネ申Excel問題*1†

• https://oku.edu.mie-u.ac.jp/~okumura/SSS2013slide.pdf
  • 世にはびこる紙至上主義的な機械可読性を軽んじた表データの問題

どっちが「きれいなデータ」だろうか？†

太陽コーパス        　　　　　　近代語　　　　書き言葉
日本語話し言葉コーパス　　　　　現代語        話し言葉
現代日本語書き言葉均衡コーパス  現代語　　　　書き言葉
日本語歴史コーパス　　　　　　　古代～近代語　書き言葉

太陽コーパス	近代語	書き言葉
日本語話し言葉コーパス	現代語	話し言葉
現代日本語書き言葉均衡コーパス	現代語	書き言葉
日本語歴史コーパス	古代～近代語	書き言葉

ちゃんとしたデータを作るために†

• ちゃんとしたデータ＝機械処理に適したデータとして大事なのは構造。見た目は気にしないで後回しでよい。後でどうにでもなる。
• テキスト、スプレッドシート（Excel）、一般の文書（Word）、マークアップ（XML）などのデータ設計のあらゆることに共通した課題

• 研究所から発信するデータはちゃんとしたデータにしてほしい

よりちゃんとしたデータにむけて†

• 授業資料/表の正規化

基本†

テキストデータとExcel†

• TXT, CSV, TSV
  • Excelとテキストデータの文字コード
• xls, xlsx

• おすすめ：VSCode拡張Rainbow CSV
  • https://marketplace.visualstudio.com/items?itemName=mechatroner.rainbow-csv

並べ替えとフィルタ†

• 並べ替え（sort）
• テキストフィルタ（≒grep）
• 重複の削除（uniq）

ピボットテーブル†

• BCCWJ中納言の検索結果データを例に
• サンプルデータ：美しい+X

  前方共起: 語彙素="美しい" ON 1 WORDS FROM キー

• ちゃんとしたデータはピボットテーブルで処理できる
  • 表に集計や余計なコメントは入れない

文字列関数†

• 授業資料/EXCELの文字列関数

VLOOKUP†

• 授業資料/VLOOKUP関数
• サンプルデータ：割合+が+adj

  キー: 品詞 LIKE "形容詞%"
  AND 前方共起: 語彙素="割合" ON 2 WORDS FROM キー
  AND 前方共起: 語彙素="が" ON 1 WORDS FROM キー

• 参考リンク http://honeshabri.hatenablog.com/entry/vlookup

テキストエディタと組み合わせて利用する†

例：Excelで中納言検索結果の列を丸ごとコピーし、エディタで整形した後、Excelに貼り付ける

• 前後文脈の整理（キーが現れた文以外を消す）
  • 前文脈：.+#*2　　後文脈：#.+
• 値の一部を取り出す
  • 品詞大分類：-.+　ジャンル大分類：/.+

Excelから関係データベースへ†

• ちゃんとしたデータを作ると関係データベース（RDB）で扱いたくなります。
• 関係データベースを知るとVLOOKUPが厭になります。
• 関係データベースが使いたくなったら最初はAccessなどでデータ管理して、SQLを覚えていってください。

最新の10件