強化学習方程式の不確実性を報酬に取込む論文を読む
テニス2時間 英語できず
(1) 強化学習方程式の不確実性を報酬に取込む論文を読む
「The Uncertaintry Bellman Equation and Exploration」
https://arxiv.org/abs/1709.05380
この論文は強化学習を解くBellman方程式の近似解での不確実性を見積りより精緻に方程式を解き、既存のDQNを改善するものです。
モデル名UBE(Uncertaintry Bellman Equaiton)
一般に強化学習は将来の累計報酬の期待値が最大になる様に局面毎の行動を選択するモデルです。
これはBellman方程式で行動価値関数として定式化されますが、将来への漸化式で解くので行動によって無限に分岐が続く場合、近似解で解くことが一般的です。
ここで
は方策(policy)
は割引率
は報酬
は局面
は行動で方策によって確率的に決定されます
また現報酬とそれ以降の行動価値関数の和を行動価値関数であらわすと。
但し
(1.1) 手法
一般に何らかなの霍乱要因があると行動価値関数と推定された行動価値関数に差が出てきます。
この差には認識できない報酬が存在しているからと考えられます。
ここで を行動価値関数の差とすると
この二乗平均誤差は解析的に次式で表現できます
この霍乱要因による行動価値関数の差はMarcovの不等式を使うと
霍乱要因の上式の下限を隠れた報酬として定理1を導入しています。
[定理1]
この論文は隠れた報酬をDQNに与えてモデルを改善しています。
(1.2) 結果
全ATARIゲームのDQNのスコアの中央値と不確定部分を隠された報酬とするUBEスコアの中央値との比較を示しています。
ここで
instrinsic Motivation:擬似カウント
UBE n-step:隠れ報酬をn回刻みで計算する
「Montezumaの復習」は既存のDQNでは殆ど解けないモデルです。これには画面遷移を擬似カウントとして報酬とすると旨く行くことが知られています。UBEのスコアが上回っていますが、これは擬似カウントがUBEに反映されているからです。