気合でなんとか

@ningensei848が頑張った記録

2017秋学期 金曜 自然言語解析基礎 3週目

資料配布

http://cu.slis.tsukuba.ac.jp/class/nla2017/
u:nla2017,p:図書館情報メディア研究科2017
授業の「翌日に」内容をまとめたスライドを配布
授業はメモを取り、あとで復習すること

 

 

前回までのあらすじ

ningensei848.hatenablog.com

 

 

復習・キーワード

ラティス構造, 形態素, 階層構造, 連接可能性, 隠れマルコフモデル HMM.

隠れマルコフモデル(HMM)

隠れマルコフモデル - Wikipedia とは、確率モデルのひとつであり、観測されない(隠れた)状態をもつマルコフ過程である。

本日のお品書き

  1. 単語予測(N-gram)
  2. 言語モデル
  3. パープレキシティ・スムージング
  4. ニューラル言語モデル

単語の予測人間は、常識や構文の知識などにより文章を途中から先読みできる。→計算機はN-gramにより定式化N-gramとは……長さnのトークン列(単語列)n-1個の単語(形態素)の連続から、その次の単語の出てくる出現率(条件付確率)を求める。[次の単語の出現しやすさを確率であらわす]言語モデルの一つがN-gram

パープレキシティ

言語モデルの評価のためには訓練用コーパスとテストコーパスを別に用意し用いる。

その評価指標として、テストコーパス中の各文について次の単語の生起確率の逆数(=分岐数)を計算した結果から得られる単語予測分岐数の平均値→パープレキシティ

 低ければ低いほど良いモデルであるといえる

スムージング

問題:コーパスに一度も登場しない単語にどう対応するか?

(ゼロ頻度問題)

解決策:訓練用の文書集合中に一度も出現しなかった単語の組み合わせ(N-gram)について、ゼロでない数値を割り当てる(ほんの僅かに出現する可能性があるよ、ってことを残しておきたい)

いろいろあるけど……?

言語モデル入門より

  • 加算型スムージング
  • 補完型スムージング → 授業では、このタイプのうちGood-Turing推定を用いる!
  • バックオフ型スムージング

ニューラル言語モデル

NNを用いたモデル;確率モデルとして優れている

分散表現…重み行列xOne-hotベクトル =>単語の分散表現が使える!

 

 

次回

ningensei848.hatenablog.com