Neural Turing Machineの理論背景が明らかになった
ランニングできず 英語30分 Fly to then Moon
(1)T研の機械学習ゼミでM先生の発表を聞く。DeepMindの「Neural Turing Machine」の理論背景が下記の論文で解明され、これの解説
https://arxiv.org/abs/1611.02854
Neural Tureing Machine では下記の様なことが学習できることは知られていた。
逆順番呼出
繰返し呼出
奇数先呼出
その理論背景は不明だったが、上記論文は外部記憶がLie群上の超平面に書き込まれているので、この様な順番の呼び出しが可能とするものである。
下記の動画は、奇数先呼出と繰返し呼出の外部記憶の学習過程である
去年のM先生の「Word2vecの理論背景」の解説もあり 数学に強い統計学者によってDeepLearningの理論背景が次々解明されようとしている。
Lie群モデルでは同じゼミでのHさんの下記論文の解説が秀逸で、Lie群の多様体上の確率モデルは汎用性や説明力も良いことは分かっていた。数学に強い事が要求される厳しい世界である事を痛感した。
https://arxiv.org/abs/1505.04413