言語生成モデルでは敵対的に精緻化する場合が多い

ランニング30分 英語30分  Lesson18

自然言語からプログラムを生成するStandFordの論文を読む。BI-LSTMでEncode-Decodeする枠組みは同じだが、プログラムの最適選択をRL(強化学習)とMML(Max Marginal Likelihood)の両方を使って局所解を避けて生成するものである。本当にこの様なことができるか追試をしてみたいところである。

https://arxiv.org/abs/1704.07926

やはり言語生成には共通パターンがある様な気がする。人間の言語理解も同じか興味がある。

・言葉のvector化とLSTMによるEncoder-Decorderは共通

・敵対的な2モデルによる精緻化

 GAN  RL&MML NegativeSamplein

f:id:mabonki0725:20170510075315j:plain

 PredNetの論文を読むと殆ど数式が無い。DNCと同じなのでまず稼動することを考えGitHubでダウンロードするが、データ容量が150GなのとKerasでエラーが出るので諦める。もう少し小さいデータでの稼動例を探したい。