マルチエージェントモデルの論文を初めて読む

テニススクール90分英語できず

(1) テニスで運動した後、図書館で下記の強化学習系の論文を読む。目的はGame場面毎の特徴量の抽出方法を探るため

　・DeepMindの擬似カウントモデル

N社のSさんから教えてもらったDeepMindのマリオゲームを題材とする擬似カウントを報酬とする論文。できるだけ異なる場面を選択する様に行動するとGame場面が達成できるので、同じGame場面の回数の評価の方法。特徴量抽出としてNeural Densityを使っていて、これは解像度を恣意的に落として場面の特徴量を抽出し易くしている。この手法についてはNeural Density Modelをちゃんと読む必要がある。

　・Game上で複数人が協調する、所謂マルチエージェントモデル

https://arxiv.org/abs/1703.10069

　　これはR先生に教えてもらったStarCraftという宇宙Gameで敵を共同作戦で倒すマルチエージェント型強化学習モデルの論文。多分6月17日のAI論文読み会ではR先生がこれの解説をしてくれると思う。この論文ではAlpha碁の達成で単独の問題は一応目処がついたとし、人間の社会は協調型で問題解決をするのでマルチエージェント型モデルがこれからの主題となるとしている。マルチモデルの歴史的な解説もあり秀逸な論文で、Bi-Directional Coordinateted Network(BiCNet)で実現している。