言語生成モデルでは敵対的に精緻化する場合が多い
ランニング30分 英語30分 Lesson18
自然言語からプログラムを生成するStandFordの論文を読む。BI-LSTMでEncode-Decodeする枠組みは同じだが、プログラムの最適選択をRL(強化学習)とMML(Max Marginal Likelihood)の両方を使って局所解を避けて生成するものである。本当にこの様なことができるか追試をしてみたいところである。
https://arxiv.org/abs/1704.07926
やはり言語生成には共通パターンがある様な気がする。人間の言語理解も同じか興味がある。
・言葉のvector化とLSTMによるEncoder-Decorderは共通
・敵対的な2モデルによる精緻化
GAN RL&MML NegativeSamplein
PredNetの論文を読むと殆ど数式が無い。DNCと同じなのでまず稼動することを考えGitHubでダウンロードするが、データ容量が150GなのとKerasでエラーが出るので諦める。もう少し小さいデータでの稼動例を探したい。