Neural Turing Machineの理論背景が明らかになった

ランニングできず 英語30分 Fly to then Moon

(1)T研の機械学習ゼミでM先生の発表を聞く。DeepMindの「Neural Turing Machine」の理論背景が下記の論文で解明され、これの解説

https://arxiv.org/abs/1611.02854

Neural Tureing Machine では下記の様なことが学習できることは知られていた。

逆順番呼出  {x_1,x_2,x_3,\cdots x_n  \to  x_n,x_{n-1}, \cdots  x_2,x_1}

繰返し呼出 {x_1,x_2,x_3 \to x_1,x_2,x_3,x_1,x_2,x_3,x_1,x_2,x_3}

奇数先呼出 {x_1,x_2,x_3,x_4,x_5,x_6   \to   x_1,x_3,x_5,x_2,x_4,x_6}

その理論背景は不明だったが、上記論文は外部記憶がLie群上の超平面に書き込まれているので、この様な順番の呼び出しが可能とするものである。

下記の動画は、奇数先呼出と繰返し呼出の外部記憶の学習過程である

LANTM

去年のM先生の「Word2vecの理論背景」の解説もあり 数学に強い統計学者によってDeepLearningの理論背景が次々解明されようとしている。

Lie群モデルでは同じゼミでのHさんの下記論文の解説が秀逸で、Lie群多様体{SO(3)}上の確率モデルは汎用性や説明力も良いことは分かっていた。数学に強い事が要求される厳しい世界である事を痛感した。

https://arxiv.org/abs/1505.04413