ロボテックス

プレイヤーと環境とが敵対的に学習する論文を読む

ランニングできず 英語できず (1) プレイヤーと環境とが敵対的に学習する論文を読む 「Learning to Design Games: Strategic Environments in Reinforcement Learning」 https://arxiv.org/abs/1707.01310v2 この論文は強化学習でプレイヤーと活動する環境と…

Abbeelの相手の様子を見る強化学習の論文を読む

ランニングできず 英語できず (1) Abbeelの相手の様子を見る強化学習の論文を読む 「Learning with Opponent-Learning Awareness」https://arxiv.org/abs/1709.04326 ロボット学の第一人者のAbbeelが参加している敵対的強化学習の論文です。この強化学習はタ…

人工生命環境で生存競争定理の再現の論文を読む

ランニング30分 英語できず (1) 人工生命環境で生存競争定理の再現の論文を読む [1709.04511] An Empirical Study of AI Population Dynamics with Million-agent Reinforcement Learning 自然界と同じ様に狩をする捕食動物(Predator)と獲物(prey)が存在し…

部分観測型の強化学習の文献を読む

ランニング30分 英語:Toeic (1) 部分観測型の強化学習の文献を読む 「確率ロボット 16章 POMDPの近似手法」※POMDP(Partially Observable Marcov Decision Process) この文献は下記のThrunの「Probabilistic Robotic」を千葉工大の上田隆一先生が訳したもので…

非深層型の進化戦略の強化学習の論文を読む

ランニング30分 英語できず (1) 非深層強化学習の進化戦略の論文を読む 「Evolution Strategies as a Scalable Alternative to Reinforcement Learning」 https://arxiv.org/abs/1703.03864 公開ソース https://github.com/MorvanZhou/Evolutionary-Algorith…

深層強化学習のサーベイ論文を読む

ランニングできず 英語できず 深層強化学習のサーベイ論文を読む 「DeepLearning for Video Game Playing」https://arxiv.org/abs/1708.07902 最近までのPCゲームやテレビゲームを深層学習で解くAI技術について網羅的に解説した論文である。従って深層学習を…

DeepMindの強化学習での歪んだ報酬の対処の論文を読む

テニススクール90分 英語できず DeepMindの強化学習での歪んだ報酬の対処の論文を読む [1705.08417] Reinforcement Learning with a Corrupted Reward Channel この論文は報酬が誤解釈や観測失敗やノイズがある場合の対処を論じたもので、かなり長文で数学よ…

Abbeelの計画問題の強化学習の論文を読む

ランニング30分 英語できず Abbeelの計画問題の強化学習の論文を読む 「Learning Generalized Reactive Plicies using Deep Neural Network」 https://arxiv.org/abs/1708.07280v1 ロボット学の第一人者USCバークレイのPieter Abbeelが参加している倉庫ゲー…

深層密度予測による擬似回数を報酬とした探索の論文を読む

ランニング30分 英語:Toeic 深層密度予測による擬似回数を報酬とした探索の論文を読む [1703.01310] Count-Based Exploration with Neural Density Models End-to-End(RealTimeで学習しながら問題を解く)のDQNは衝撃を与えたが、解けないゲームが多数ある…

深層強化学習で多次元の行動を分解して学習する論文を読む

ランニング30分 英語:Toeic 深層強化学習で多次元の行動を分解して学習する論文を読む 「Discrete Sequential Prediction of Continuous Action for Deep RL」 https://arxiv.org/abs/1705.05035 DQNでのQ-Learningが高次元のためSGDの深層学習が進まない問…

本能的に学習するロボット実験の論文を読む

ランニング30分 英語:できず (1) 本能的に学習するロボット実験の論文を読む 「Instrinstically Motivated Goal Exploaration Processes with Automatic Curriculum Learning」 https://arxiv.org/abs/1708.02190 今までの強化学習はゴール(目的)が明解で…

医療系の複合現実(MR)の技術サーベイ論文を読む

ランニング30分 英語:Toeic (1) 医療系の複合現実(MR)の技術サーベイ論文を読む 「Recent Developments and Future Challenges in Medical Mixed Reality」 https://arxiv.org/abs/1708.01225 AI会社の社長からこれは凄いという複合現実の論文を紹介された…

MicroSoftのゲームのアイテム毎に強化学習する論文を読む

テニス2時間 英語:できず (1) ゲームのアイテム毎に強化学習する論文を読む 「Hybrid Reward Architecher for Reinforcement Learning」https://arxiv.org/abs/1706.04208 (1.1) 論文の意図 DQNは画面からDNNで直接特徴量を読み取り、特徴量の変化と得点で…

DeepMindとOpenAIの人間の好みを反映した強化学習の論文を読む

ランニングできず 英語できず DeepMindとOpenAIの人間の好みを反映した強化学習の論文を読む 「Deep reinforcement learning from human preferences」 [1706.03741] Deep reinforcement learning from human preferences 強化学習では報酬が明確でないと学…

DeepMindのグループ対戦型ゲームの強化学習の論文を読む

ランニングできず 英語できず (1) DeepMindのグループ対戦型ゲームの強化学習の論文を読む 「StarCraft II: A New Challenge for Reinforcement Learning」 StarCraft II: A New Challenge for Reinforcement Learning | DeepMind StarCraftゲームはグループ…

DeepMindの外部メモリー型DQNの論文を読む

ランニングできず 英語できず (1) DeepMindの外部メモリー型DQNの論文を読む 「Neural Episodic Memory](2017/03) https://arxiv.org/abs/1703.01988 この論文は人間がある状況で適切な行動を求められる場合、過去の類似した状況での結果を思いだして行動選…

UCバークレィの特徴を理解して掴むロボットの論文を読む

ランニングできず 英語できず (1) UCバークレイの対象の特徴を理解して掴むロボットの論文を読む。 「End-to-End Learning of Semantic Grasping」 [1707.01932] End-to-End Learning of Semantic Grasping Abbeelが属するUCバークレィのロボットで、対象物…

DeepMindの実機ロボット学習の論文を読む

ランニングできず 英語:Toiec (1)windows VirtualBox Ubuntu pythonのモデル開発環境で躓いたことを記す。 VirtualBoxでwindowsのフォルダーを共有指定して、Ubuntuでマウントした場合、読み込みはできるが書き込みは「プロトコルエラー」でできない場合があ…

DeepMindの幼児の視覚理解モデルの論文を纏める

テニス2時間 英語:できず (1) DeepMindの幼児の視覚理解の論文を読了する Early Visual Concept Learning with Unsupervised Deep Learning 知識が無い幼児が早期に外界に適応するのは、非教師モデルでしか行えないはずで、生成モデルで理解しているとの論…

DeepMindの幼児の早期理解の論文を読む

ランニングできず 英語:Move Starwars (1)大学院の学生の中間発表会があった。 内容を見ると、書いても空しいだけなのだが、20世紀の技術に固執して指導する教員があまりに多い。20世紀の後半は日本の技術が世界を席巻し、かれらの研究時期がその時期であっ…

好奇心を報酬とする理論

ランニング30分 英語できず (1) 好奇心を報酬とする論文を読了する 「Curiosity-driven Exploaration by Self-Supervised Prediction」 下図の様な迷路ゲーム(Viza-Doom)の場合、迷路の端に報酬があり(右端の図)、各場面では殆ど報酬を見ることができない…

好奇心を本能的な報酬として解く論文

ランニングできず 英語:Toeic (1) 好奇心による強化学習の論文を読む。 「Curiosity-driven Exploaration by Self-Supervised Prediction」 明示的な報酬を外生的報酬(extrinsic reward)とし、好奇心を本能的な報酬(instrinsic reward)として区別して、明示…

DeepMindの方向性を纏める

テニススクール90分 英語:movie Fully (1)DeepMindのハザビスの「脳科学とAIの関連」の記事を纏める 「Neuroscience inspiered AI」 何故この様な記事が書いたのか理由の推察であるが、DQNやAlpha碁の偉大な事業を深層強化学習で達成したが、さらに複雑な事…

DeepMind AIの過去・現在・将来の概観記事を読む

ランニング30分 英語できず 引き続きDeepMindハザビスの「AIと脳神経学の関連」の記事を読む。 「Neuroscience-Inspired AI」 次の様なDeepMindが構想するAIを述べており、既に素晴らしい成果であるDQNやAlpha碁を超えて、さらに実用的で複雑な問題を解決あ…

Abbeelの論文アルゴリズムは報酬が得やすい初期状態の探索になっている

テニス4時間 英語:できず (1)AbbeelのGoalからの強化学習の論文の下記のアルゴリズムがGoalからStartへ明示的に逆に辿る手続きになっていなく、理解が難しい。 このAlgorithm1の4、5行目のをStartsに入れているのは間違に見えるが、Goal近辺から摂動を与…

ロボット学で学習手順を生成する論文を読む

ランニング30分 英語できず (1) 米国のロボット学の権威Pieter Abbeelが参加した論文「Reverse Curriculm Generation for Reinforcement Learning」を読む。これは最終目的から初期状態へ逆に解く強化学習によって自動操縦手順を自動生成するモデルである。 …

DeepMindの倉庫番ゲームの論文を纏める

ランニングできず 英語:Toeic (1) DeepMindの倉庫番ゲームの論文「Imagination-Augmented Agent s for Deep Reiforcement Learning」がやっと読了した。難航した理由は以下である。 ・重要な単語の意味の取り間違え (Augmented →Argmented rollout→rollove…

ROSのLT大会 優秀だが統計的アプローチは無い

テニススクール90分 英語できず (1) Lie-Access Neural Turing Machine の論文の纏めの続き。M君やF君の資料を読み解釈の修正をする。F君の資料にLie-Accessがあり先見性に驚いたが、NTMがLie群上で解釈できるとは思っていない様だ。 (2) ROSのLT大会に参加…

DeepMindの多様な環境で順番学習の有用性の論文

ランニング30分 英語できず (1) DeepMindの論文「多様な環境での身体特性の出現」を読む。 表題:Emagency of Locomotion Beheviors in Rich Enviroments https://arxiv.org/abs/1707.02286 動画: www.youtube.com これは、GANによる強化学習「Learning hum…

DeepMindのProgrammable Agentを読んだ

テニス90分 英語できず (1) DeepMind Programmable Agentを読んだ 所謂zero-shot(未経験)の知識を獲得するモデルの話。UNREALの自然言語理解がone-shot(経験知識)なので、こちらは与えられたプログラムで状況を理解して、未知な状況を認識する。表題はこれを…