深層生成による暗黒物質探査の論文を読む

テニス２時間　英語できず

(1)深層生成による暗黒物質探査の論文を読む

　「Enabling Dark Energy Science of with Deep Generative Models of Galaxy Images」

　宇宙の80％を占めると云われている暗黒物質は宇宙膨張の謎を解く鍵とされていますが、観測が難しいので実態が不明なままです。この実態は下図の黒い部分の様に銀河の光を通して間接的に観測します。具体的には重力レンズという理論で銀河の光の歪みを観測して暗黒物質の規模を推定しています。しかし銀河の光の歪みを計測することも難しいので、VAEやGANを使って銀河の画像を補正しようとする論文です。

f:id:mabonki0725:20170925204115p:plain

(1.1) 手法

　ここでは条件付VAEと条件付GANの２種類で銀河の画像を生成しています。

　　条件付VAEは良く似ていますが半教師学習のSemi-VAEではありません。

　　　画像に一部のみラベルが付いている場合がSemi-VAEです。

　データとしては8500個の銀河の画像(64×64) $x$ と条件ベクトル $y$ をもつCOSMOSデータで訓練します。

条件ベクトル $y$ は３の特徴量（銀河のサイズ、明るさ、宇宙距離）のみです

1) C-VAE(conditional VAE)

VAEなので隠れ変数 $z$ を仮定します。 $z$ は具体的には多変量の平均と分散を表します。

VAEはデータ $\mathcal{D}=(\hat{x}^1,\hat{y}^1),\dots,(\hat{x}^N,\hat{y}^N)$ から次の生成モデルの隠れ変数 $z$ 及びパラメータ $\theta_1 \ \theta_2$ を求めることになります。

　 $p_\theta(x,z | y) = p_{\theta_1}(x | z,y) p_{\theta_2}(z | y)$

隠れ変数 $z$ を媒介とする変分の教科書は以下なので

　 $\log p(x) = \int q(z) \log \frac{p(x,z)}{q(z)} dz - \int q(z) \log \frac{p(z|x)}{q(z)} dz$

$\log p(x) \ge \mathbb{E}_{z \sim q(z)} ( \log p(x | z)) - \mathbb{D}_{KL}(p(z|x) || q(z))$

　　ここで

　　　 $\int q(z) \log \frac{p(x,z)}{q(z)} dz \ge \int q(z) \log \frac{p(x,z)}{p(z)} dz = \mathbb{E}_{z \sim q(z)} ( \log p(x | z))$

を使った

隠れ変数 $z$ を使った $p_\theta(\hat{x}|\hat{y})$ の対数尤度の変分は次式で定義できます。

　　 $\log p_\theta(\hat{x} | \hat{y}) \ge -\mathbb{D}_{KL} \left(q_\phi(z | \hat{x},\hat{y}) || p_{\theta_1}(z | \hat{y}) \right) + \mathbb{E}_{z \sim q_\phi} \left( \log p_{\theta_2}(\hat{x} | z,\hat{y}) \right)$

　 VAEの損失関数 $\mathcal{L}$ が最小となる隠れ変数 $z$ 及びパラメータ $\phi \ \theta_1 \ \theta_2$ を深層学習で算出します

　 $\mathcal{L}(\phi,\theta_1,\theta_2,\hat{x},\hat{y}) = \mathbb{D}_{KL} \left(q_\phi(z | \hat{x},\hat{y}) || p_{\theta_1}(z | \hat{y}) \right) - \mathbb{E}_{z \sim q_\phi} \left( \log p_{\theta_2}(\hat{x} | z,\hat{y}) \right)$

2) C-GAN(conditnal GAN)

条件付敵対的生成モデルGANでは次式で定式化できます。

　 $min_w max_\psi \mathbb{E}_{\hat{x},\hat{y} \in \mathcal{D}} \left( \log(D_\psi(\hat{x},\hat{y}) + \log(1 - D_\psi(G_w(z,\hat{y}),\hat{y})) \right)$