人間のコントロールで早期に学習する強化学習の論文を読む

強化学習は学習に相当時間がかかる事が知られているが、人間が要所々にコントロールして教えれば学習が効果的にきるとの考えを実現した論文である。

[1709.10163] Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces

本論文の手法はDeep TAMERと云い概念図は以下である。この論文の特徴は人間のコントロールを深層学習を使って高次元の関数に近似して、これを方策として強化学習に組み込むことである。

f:id:mabonki0725:20181028205726p:plain

この論文を読む動機は下記の記事を見て学習の改善度合いが凄いためであった。

ぼくがかんがえた世界最強のAIをつくるために、アメリカに行ってきた : 情熱のミーム清水亮 - Engadget 日本版

この人間が計算機に教える学習対象はATARIの古典的なボーリングゲームである。

f:id:mabonki0725:20181029085016p:plain

この論文の着想は簡単で、人間のコントロール $h$ を最適な方策 $\pi(s)$ にすることである。しかし最適方策は次の人間の方策理解を示す関数 $\hat{H}(s,a)$ となるものを導入してこれを深層学習で近似する。

$\pi(s) = \hat{H}(s,a)$

この論文での巧妙な現実的な方法は、ゲーム画面と人間のコントロールに遅延があることを許容する遅延関数 $w$ を組込み、方策理解 $\hat{H}$ を次の損失関数で求めていることである。

　 $Loss(\hat{H};x,y) = w(t^s,t^e,t^f) [\hat{H}(s,a) - h ]^2$ 　式(1)

ここで

　 $x$ は画面の状態

　 $y$ はコントロール $h$ を行った後の観察結果

　 $w(t^s,t^e,t^f)$ は遅延関数で $t^s$ と $t^e$ は状態 $s$ の最初と最後の時間

$t^f$ はコントロールしてから結果を見るまでの期間

・遅延関数 $w$

この独特の遅延関数は分布関数 $f_{delay}(t)$ を使って次で定義している。

　 $w(t^s,t^e,t^f) = \int_{t^f-t^e}^{t^f-t^s} f_{delay}(t) dt$

分布関数 $f_{delay}(t)$ はここでは0.25~4の一様関数を採用している。人間の遅延はこの間が多いそうである。

・損失関数 $Loss(\hat{H})$

式(1) の損失関数を解くためにこの論文では次の２種類の最適化を使っている。

　(a) 画面状態 $x,y$ の情報集約

　(b)人間のコントロールのバッチ学習

(a) 情報集約

この $\hat{H}(s,a)$ の損失関数は式(1)から分る様に $x,y$ の教師あり学習になっている。これは深層学習で解いている。しかし画面の状態はかなり数万の高次元なのでAutoEncoder $f(s;\theta_f)$ で次元圧縮して数百次元にして、再度Decode $g(f;\theta_g)$ して画面に戻している。このEncoder Decoderのパラメータは次の関数で最適化している。