Googleが発表したBlack-Box型の最適化サービスの報告を読む

確率・統計

テニス２時間　英語:toeic

Googleが発表したBlack-Box型の最適化サービスの報告を読む

Google Vizier: A Service for Black-Box Optimization

機械学習系の汎用的な最適化をCloudでサービスする報告である。Black-Boxである点に興味を持って読んでみたがBlack-Boxだけに内容は無い。

ここで注意を引いたのは、このサービスは

・最適化にGaussion-process banditモデルを使っている

・深層学習は不安定なので採用していない

である。

Gaussian-Process Banditとは多次元の入力データをGaussianで補間して、その複数のPeakをBandit問題（探索と抽出問題）として解くモデルである。

Gaussian-Processは関数近似で最も使用されるノンパラモデルである。即ちパラメータを持つモデルを仮定しないものである。しかし計算量はデータの次元ではなくデータレコード数で決まるところに弱点がある。

左図の様にGaussain-Processは与えられた点以外はガウス分布の広がりで予測するので最大Peekは逃し難い利点もあるが、そこで出来るだけ少ないレコードをサンプリングして最大値を見つける必要がある。レコードのサンプリングはBandit問題の解法UCB（Upper Confidence Bound)で行う。しかし左図の様にサンプリングが甘いとガウスの裾を最大に取ってしまう。そこで（右図）の様に最大値を取る区間をさらにUCBでサンプリングしてガウスの裾野を狭める方法である。

UCBとは次式で評価してこれが高い順にサンプリングを行う

　UCB_i=rP(x_i) \frac{\sqrt{2\log(N)}}{n}

   ここで

　　P(x_i)：i番目のレコードが高い値を持つ確率である

　　N：サンプリングしたレコード数

       n：i番目をレコードを選択した回数

　である。

f:id:mabonki0725:20170828080657p:plain

Googleの提供している最適化はモデルを仮定しないノンパラモデルなのでBlack-Boxと言っていると考えられる。