NLPでのAttentionの優位性を示したQA論文

テニス2時間　英語30分 Lesson 15
　pythonで文章を読むプログラムを作成する。コメントの漢字でもエラーがでる。
pythonの先頭に下記のコメントを入れると解決した。
# -*- coding: utf-8 -*-
LexRankの実装はこれからである。

NLPのQAシステムの論文を読む。

これは以下の特徴を持つ
1) 構文解析により回答候補のentityを抜出し、文章をentityに置き換える
　このアルゴリズムは不明、大文字、頻度によるものか

　　 f:id:mabonki0725:20170503130253p:plain

2) 文章と回答を繋いだCrom型文章をBI-LSTMによるAttensionで訓練する。この手法が一番精度が高い

f:id:mabonki0725:20170503130036p:plain

　とうとうGANで翻訳モデルが中国から出された。

このAdversarialを応用したモデルは頻出すると考えられる。人間の脳もこの様に反復学習しているのではないかと思える。
　強化学習による文書生成モデルでICPR2017では、文書作成の報酬について述べられている。この報酬こそは意味価値ではないかと思える。