DeepMindの幼児の視覚理解モデルの論文を纏める

テニス２時間　英語：できず

(1) DeepMindの幼児の視覚理解の論文を読了する

　Early Visual Concept Learning with Unsupervised Deep Learning

知識が無い幼児が早期に外界に適応するのは、非教師モデルでしか行えないはずで、生成モデルで理解しているとの論文である。これをKingmaのVAEモデルで視覚理解ができる事を示している。

この実験の結果以下の結論を述べている。

・ガウス分布の隠れ変数のベクトル（位置、拡縮、回転）を視覚データから学習する

・最尤法とVAEの比較では隠れ変数の精度はVAEの方がかなり勝っている

・学習はベクトルの方向毎に行なう方が精度が良く、同時では学習精度が落ちる

・段階的な視覚変化でも、隠れ変数は連続的な推移をしている

・生成モデルなので、経験のない状態でも認識できる。

・アメーバの足の非線形的な変化（シグモイド、２次関数）の変化でも隠れ変数は学習できている。下図は隠れ変数を連続に変化させ視覚を再現した結果

・VAEモデルなので、Decoderを未知の物体に適応すると所謂Zero-shotである未知の物体の認識が可能になる。

(2) これもDeepMindのハザビスが言及していた。深層学習が前の学習を忘れずに取り戻すモデルの論文を読む。

Overcoming catastrophic forgetting in neural networkshttps://arxiv.org/abs/1612.00796