mabonki0725の日記

ダーウィン進化論を使った深層学習の最適化の論文を読む

AI論文画像認識

ランニング30分英語できず

(1)ダーウィン進化論を使った深層学習の最適化の論文を読む

「Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks」

https://arxiv.org/abs/1606.04393v3

　このモデルはダーウィンの進化論の発想から深層学習を世代交代させれば、進化した深層学習モデルを得ることを示したものです。

　結果は世代交代することによってモデルを簡略しても精度を維持できることを示しており、進化したネットワークが得られています。

f:id:mabonki0725:20170910172106p:plain

(1.1) 手法

　深層学習の重みの訓練では精度に寄与していないネットーワークも同じ様に訓練の繰返しを行っているので計算負荷が過剰になっています。このモデルではネットワークを世代交代させる時に閾値以下のネットワークを削除して精度を維持しながらネットワークを軽減することを目的としています。

　現世代の連結の生成確率 $P(S_g|W_{g-1})$ は前世代の重み $W_{g-1}$ を使って以下で推定します。

$P(S_g|W_{g-1}) = \Pi_{k \in w_{g-1}} \exp \left( \frac{w_{g-1,k}}{Z} -1 \right)$

　現世代のネットワーク $P(\mathcal{H}_g)$ の生成確率は連結の生成確率にネットワーク簡略率[tex:C=0.4}を乗じた値とします。

$P(\mathcal{H}_g) = C \cdot P(S_g | W_{g-1})$

ここで

　　 $S_g$ は $g$ 世代の連結（神経細胞）

　 $Z$ は正規化定数

また下記の一様乱数 $U(0,1)$ より小さい連結確率の場合はネットワークを生成せず、簡略化します

$P(S_g,k) \lt p \sim U(0,1)$

(1.2) 結果　

２つのデータセットの画像と各々について世代簡略化を行った結果です。両画像とも４世代でネットワークを48倍縮小しても識別精度は第一世代と殆ど変化していません。

・MSRA-B (5000枚)で訓練（1列、３列が入力イメージ画像２列、４列目が教師画像)

f:id:mabonki0725:20170910174520p:plain

f:id:mabonki0725:20170910173747p:plain

　・HKU-IS (4447枚)で訓練(1列、３列が入力イメージ画像２列、４列目が教師画像)

f:id:mabonki0725:20170910174520p:plain

f:id:mabonki0725:20170910174638p:plain

(1.3) 感想

　・この様な生物学的な発想を許すのは、深層学習が未だに完全に理論的に説明できてないため、さらに曖昧な概念までも導入する事態を示しています。

　・しかし、この進化による深層学習の改善は50倍近くモデル軽減されており、もしこの進化モデルが汎用的なら深層学習の学習時間を短縮する有力な手法になる可能性があります。

　・この論文は2017年02月06日に投稿されましたが、9月に性的交配による深層学習の進化モデルも発表され、さらにモデルの軽減化が図られています。

　「The Mating Rituals of Deep Neural Networks: Learning Compact Feature Representations through Sexual Evolutionary Synthesis」

https://arxiv.org/abs/1709.02043v1