敵対的VAEの論文を読む - mabonki0725の日記

ランニングできず　英語できず

(1)敵対的VAEの論文を読む

　「Adversarial Autoencodes」https://arxiv.org/abs/1511.05644

　前のCyclicに画像を学習するモデルでは敵対的VAEを使っていたので、その論文を読みました。

様々な癖がある手書き文字が数種類ある場合（例えば手書きの０～9）、その種類毎に手書きの癖が存在します。そこで判明している種類の文字の画像とVAEが生成した画像をGANで与え、類似しているかGANに判断させVAEの隠れ変数の精度を向上させ様とするものです。

　構造としてはVAEにGANが結合する構成となっています。

　・VAEは隠れ変数 $z$ の推定

　・GANは隠れ変数の分布 $q(z)$ を正しい分布 $p(z)$ に近づける（正則化)

　 f:id:mabonki0725:20170915232825p:plain

(1.1) 手法

　この構成では以下の変分式で隠れ変数の分布 $q(z)$ をVAEとGANで解くことができます。

$\mathbb{E}_{x \sim p_\delta}(x) \left(-\log p(x) \right) \le \mathbb{E}_x \left( \mathbb{E}_{q(z|x)} ( - \log p(x|z))\right) + \mathbb{E}_x \left( \mathcal{KL}(q(z|x) || p(z)) \right)$

$= \mathbb{E}_x \left( \mathbb{E}_{q(z|x)} ( - \log p(x|z))\right) - \mathbb{E}_x \left(\sum_i \log \delta_i(x)) \right) + \mathbb{E}_{q(z)} \left ( - \log p(z) \right) + const$