Steinモデルによる生成モデルに注目する

ランニングできず 英語できず

(1) Bengioの論文の未理解部分を再検討し、1箇所を除き漸く納得した。未解明部分はエントロフィの算出部分であるがプログラム見るしかない。不明だった点として実験例に手書き数字の変遷過程が掲載されている。例えば8と3の間の数字を生成しているが、中間の数字は学習時にこれらを混ぜて入力して生成していることがわかった。

f:id:mabonki0725:20170613070613p:plain

(2)T研の機械学習ゼミでNIPS常連のK君が説明した生成モデルの論文が注目に値する。こんな難しい資料を見るのは久しぶりである。K君に云わせるちゃんと式を展開すれば理解できるとのことである。これは今年にNIPSで発表されたものであるが、Steinモデルを使うと難解の分配関数Zθが計算しなくてよく、カーネルによりモデルを精緻化できるとの話である。時間があれば精読したい。

http://www.cs.dartmouth.edu/~qliu/PDF/steinslides16.pdf

Stein’s Method for Practical Machine Learning

(3) Xgboostを使ったモデルの検討に参加する。かなりの変数をモデルに取込むので、分析データには頑健だが、時間経過による分析データの変動には脆弱と思われる。現担当者もこの点を危惧しており、時間経過後のデータとバリデーションしてモデル構築する工夫をしている。多分Xgboostの時間的劣化具合が初めて明らかになるプロジェクトと思われる。