2017秋学期 金曜 自然言語解析基礎 3週目
資料配布
http://cu.slis.tsukuba.ac.jp/class/nla2017/
u:nla2017,p:図書館情報メディア研究科2017
授業の「翌日に」内容をまとめたスライドを配布
授業はメモを取り、あとで復習すること
前回までのあらすじ
復習・キーワード
ラティス構造, 形態素, 階層構造, 連接可能性, 隠れマルコフモデル HMM.
隠れマルコフモデル（HMM）
隠れマルコフモデル - Wikipedia とは、確率モデルのひとつであり、観測されない（隠れた）状態をもつマルコフ過程である。
本日のお品書き
単語の予測人間は、常識や構文の知識などにより文章を途中から先読みできる。→計算機はN-gramにより定式化N-gramとは……長さｎのトークン列（単語列）n-1個の単語（形態素）の連続から、その次の単語の出てくる出現率（条件付確率）を求める。[次の単語の出現しやすさを確率であらわす]言語モデルの一つがN-gram
パープレキシティ
言語モデルの評価のためには訓練用コーパスとテストコーパスを別に用意し用いる。
その評価指標として、テストコーパス中の各文について次の単語の生起確率の逆数（＝分岐数）を計算した結果から得られる単語予測分岐数の平均値→パープレキシティ
低ければ低いほど良いモデルであるといえる
スムージング
問題：コーパスに一度も登場しない単語にどう対応するか？
（ゼロ頻度問題）
解決策：訓練用の文書集合中に一度も出現しなかった単語の組み合わせ（N-gram）について、ゼロでない数値を割り当てる（ほんの僅かに出現する可能性があるよ、ってことを残しておきたい）
いろいろあるけど……？
言語モデル入門より
- 加算型スムージング
- 補完型スムージング → 授業では、このタイプのうちGood-Turing推定を用いる！
- バックオフ型スムージング
ニューラル言語モデル
NNを用いたモデル；確率モデルとして優れている
分散表現…重み行列xOne-hotベクトル =>単語の分散表現が使える！
次回
