アルファGoを作ったDeepMindのハザビスは脳科学者として有名であったが、OISTの銅谷先生等は既に2000年に大脳基底核で観察される信号の状態が強化学習のベルマン方程式で表現できるとを示して、生理的な意味でも脳と強化学習は関連が注目されて来た。 globe.…

最近は複数エージェントによる協調学習の理論や実験が著しい進展を遂げており、この方向で様々な研究成果が出現してくると思われる。しかし今回読んでみたベイズによる複数エージェントの強化学習の論文(BADモデル)はこの方向ではなく、カードゲームの様に参…

高速道路での協調学習として転移学習を使っている表題に引かれて論文を読んでみた。 著者はドイツ南部のFreiburg大学の人々の様だ。 [1810.08515v1] Transfer Learning versus Multi-agent Learning regarding Distributed Decision-Making in Highway Traff…

複数エージェントの強化学習の論文を読むと必ず参照される「反証的複数エージェントモデル」(Counterfactual Multi-Agent：COMA)の論文を読んでみた。 [1705.08926] Counterfactual Multi-Agent Policy Gradients 表題にある反証的(counterfactual)とは、複…

年初に発表された複数エージェントでの協調や敵対学習で画期的な性能を示したAbbeel達のモデル(MADDPG)があり、これには動画やGitHubにソースが公開されているので、様々な改良を加えた研究の成果がこれから発表されると思われる。 複数エージェントの協調学…

IBMの恐神先生の複数エージェントの講演で出会った知人から、この講演の様にマルチエージェントの動作を動画と捉えConvolutionして特徴抽出するモデルが注目されていると聞いたが、この論文も複数エージェントの動作を動態グラフと見做してConvolutionで特徴…

国際学会での発表の準備で忙しかったが、ようやく複数エージェントでの共通知識による強化学習(MACKRL)の論文を読んだ。 [1810.11702] Multi-Agent Common Knowledge Reinforcement Learning これは下図の様に相手が見えるＡとＢは、互いに密接に連絡し合う…

エージェントの相互の影響を反映した社会的動機による協調強化学習と訳せばいいのか、次のタイトルの論文を読む。 [1810.08647v1] Intrinsic Social Motivation via Causal Influence in Multi-Agent RL 相手の行動と自分の内部状態を因果として次の行動を決…

強化学習は学習に相当時間がかかる事が知られているが、人間が要所々にコントロールして教えれば学習が効果的にきるとの考えを実現した論文である。 [1709.10163] Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces 本論文の手法はDe…

DeepMindの複数エージェントのチームでの勝敗による強化学習が人間のレベルを超えており、この理論と実験の詳細な報告になっている。 [1807.01281v1] Human-level performance in first-person multiplayer games with population-based deep reinforcement …

この論文は他のエージェント間での協調特徴ベクトルでを深層学習のAttentionで摘出して、最適な協業をする複数エージェントの強化学習モデルである。 [1810.02912] Actor-Attention-Critic for Multi-Agent Reinforcement Learning 次の画期的な性能を示す中…

国際大会での発表の準備で疲弊しているが、「もくどく会」があったので途中まで読んでいたATARIゲームの転移学習による強化学習を読む [1809.00397v1] Visual Transfer between Atari Games using Competitive Reinforcement Learning この論文はATARIゲーム…

非線形な逆強化学習の最適解を効率的に図るため、擬似的な関数を定義してこれを使って最大最小値問題として、さらに非線形解を解くためGANを導入したモデルである。単なる逆強化学習をここまで複雑にしている論文は見たことがないが、実験結果では驚異的な性…

CMUの因果を取りいれた逆強化学習の発表でかなり古い論文である（2010ICML)。強化学習は時間経過に従って学習するモデルなのでタイムステップ間は完全に因果関係が成立する。熟練者の経路データから因果関係を情報量の最大化で求め次の行動を予測しようとす…

強化学習で階層型がよく話題になっているが、東大修士１年が勉強会で発表していたので興味を持ち読んでみた。 [1804.02808] Latent Space Policies for Hierarchical Reinforcement Learning バークレイの連中の論文で強化学習での階層間を深層学習と同様に…

このバークレイ学派の論文の寄与は次の２点である [1710.11248] Learning Robust Rewards with Adversarial Inverse Reinforcement Learning ① 逆強化学習(IRL)はGANと同じ理論とする論文により IRLをGANの識別(Discriminator)関数の最適化で解く ②このモデ…

この論文はデモが凄いので結構よく論文が読まれている。これはバークレイ学派 Abbeel達の発表である。 [1706.02275v3] Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments この４つのデモでは、複数のエージェントが協調や敵対を報酬…

論文の図１にある様な複雑な最終状態(goal)を認識してロボットがそれに到達するモデルである。著者はバークレイ学派の重鎮 Sergey Levine等である。 [1807.04742] Visual Reinforcement Learning with Imagined Goals 実際の動作の動画は下記。下が最終状態 …

この論文のタイトルは「world Model」で世界認識と訳せばよい分らないが、大げさなタイトルに適った素晴らしい内容である。 [1803.10122v4] World Models 著者は日本では有名なDavid Haであるが、著者の一人はLSTMの開発者の一人でシュミットフーバー等(Schm…

暫く発表が続いたので論文が読めず、浦島状態になっている。慌てて論文を読み始める。 マルチエージェント関係の論文が相当優秀なものが紹介される様になり感動すら覚える。その一つとして強化学習の早期学習にカリキュラム開発と目的遂行を分離して学習する…

間違って2018/07/29日の記事を削除してしまったので再掲です。 データ前処理研究会でデータ分析ツールPADOCを発表してきました。 データ分析での前処理の議論が殆どないので、業務分析を兼ねたデータ前処理が全工程の７割を占めることが認識されていない様だ…

AIバブルと言われている昨今では、本来のAIの見通しが悪くなっていると思い、AIテーマを模索するため昨年発表されたアルファ碁を作り脳科学者であるHassabis@DeepMindのAIサーベイ論文を以下に纏めてみました。 Neuroscience-Inspired Artificial Intelligen…

もう15年ぐらい聞いているＦM市川の琴音さんのブログに新居の写真が張ってあり、謎の物体が座椅子に乗っているので、画像から文章生成モデルで認識させてみた。 ameblo.jp 左写真は流石に新居とあって文章生成モデルではバスルームと認識され、座椅子は便器…

この論文は1978年に提唱された「心の理論」Theory to Mindでの人間が特有に持つ自己と他者の相違を理解する認識を深層モデルToMnet(Theory of Mind Network)で作ろうとしたものである。 Machine Theory of Mind | DeepMind 「心の理論」は次に詳しいが、幼児…

強化学習の勉強会でゲーム学習の高速化の解説があった。 強化学習の分散アーキテクチャ変遷 from 英爾 関谷 www.slideshare.net これらはActor-criticを基本とした並列化、GPUの使用で高速化を 図っている。ここでActor-criticのアルゴリズムを詳しく見てみ…

人間本来が持つ好奇心は未知なものへのリスクやストレスに勝つていたので様々な発展と開拓があったのは間違いはない。強化学習の分野でも好奇心による改善はいくつか示されている。 mabonki0725.hatenablog.com Abbeel達は次の論文で、好奇心を情報量の改善…

本来の異言語間の会話は、最初は同じ物を指して互いの言葉を言い合ったのが始まりで、互いの交流の中で細かいニュアンスまで理解する様になったのは想像に難くない。 今回の翻訳モデルは上記の過程を深層学習でモデル化したものである。従来の翻訳は構文解析…

arxivで月間2000本ぐらい投稿されるAI論文に圧倒されるが、Benny Britzには優良な深層学習や強化学習な論文をリストにしてもらい大変助かっている。Benny Britzが強化学習を否定的に書いている記事を紹介しているので興味をもったので読んでみた。 www.alexi…

教師有り学習としての棋譜学習をしなくても強化学習だけで無敵になったNatureに掲載されたAlphaGo_Zeroの記事を読んでみる。 deepmind.com 上記のURLでpaperを押下するとNatureのサイトに行くが、大学とか特定の大企業では無料でPDFがdownloadできるメニュー…

深層学習で将来予測（Nステップ先）を予測して報酬を獲得する強化学習の論文を読む。 [1707.03497] Value Prediction Network この論文はDQNの一手先のモデルを数手先を読むモデルに拡張したもので、かつ非常に洗練された構造をもつ強化学習である。 倉庫番…