AI論文

好奇心による強化学習の改善の理論化とその実証の論文を読む

人間本来が持つ好奇心は未知なものへのリスクやストレスに勝つていたので様々な発展と開拓があったのは間違いはない。強化学習の分野でも好奇心による改善はいくつか示されている。 mabonki0725.hatenablog.com Abbeel達は次の論文で、好奇心を情報量の改善…

異言語間で画像を基に会話で翻訳モデルを構築する論文を読む

本来の異言語間の会話は、最初は同じ物を指して互いの言葉を言い合ったのが始まりで、互いの交流の中で細かいニュアンスまで理解する様になったのは想像に難くない。 今回の翻訳モデルは上記の過程を深層学習でモデル化したものである。従来の翻訳は構文解析…

Googleロボットチームの強化学習のサーベイ記事を読む

arxivで月間2000本ぐらい投稿されるAI論文に圧倒されるが、Benny Britzには優良な深層学習や強化学習な論文をリストにしてもらい大変助かっている。Benny Britzが強化学習を否定的に書いている記事を紹介しているので興味をもったので読んでみた。 www.alexi…

Natureに掲載されたalphaGo_Zeroの記事を読む

教師有り学習としての棋譜学習をしなくても強化学習だけで無敵になったNatureに掲載されたAlphaGo_Zeroの記事を読んでみる。 deepmind.com 上記のURLでpaperを押下するとNatureのサイトに行くが、大学とか特定の大企業では無料でPDFがdownloadできるメニュー…

深層学習で将来予測して最適行動する強化学習の論文を読む

深層学習で将来予測(Nステップ先)を予測して報酬を獲得する強化学習の論文を読む。 [1707.03497] Value Prediction Network この論文はDQNの一手先のモデルを数手先を読むモデルに拡張したもので、かつ非常に洗練された構造をもつ強化学習である。 倉庫番…

回避機能をもつ逆強化学習の論文を読む

NIPS2017で発表されたAbbeel達の回避機能をもつ逆強化学習の下記の論文を読む。 「Inverse Reward Design」https://arxiv.org/abs/1711.02827 この論文は予想外の事象に衝き当った場合の報酬を如何に修正するかの話なので、報酬設定→行動経路→逆強化学習→報…

FIRLの論文を読むが難しい

ベイズによる逆強化学習が、杉山先生の密度比による逆強化学習と同じ手法になったので、残る有名な手法はFIRL(Feature Construction IRL)のみになった。 この手法は下記のAbbeel率いるBarkleyチームのLevineによる論文がある。 https://homes.cs.washington.…

逆強化学習の深層学習版をC言語で実装してみた

年末にC言語でSGD(確率勾配法)で逆強化学習を実装したが、深層学習版でも実装してみました。 SGDと結果は殆ど変わりませんが、PRMLの5章にあるチューニング無しのロジックの深層学習なので相当時間がかかりました(約3分 SGD版の100倍)。 示せたことはC…

エネルギーベースの逆強化学習の論文を再読する

ランニングできず 英語できず (1) エネルギーベースの逆強化学習の論文を再読する 「Maximum Entropy Deep Inverse Reinforcement Learning」 https://arxiv.org/abs/1507.04888 T研のMゼミでかなり以前に解説した論文でしたが、敵対的な逆強化学習の提案で…

深層学習でプログラムを自動生成する論文を読む

ランニング30分 英語できず (1) 深層学習でプログラムを自動生成する論文を読む 「DeepCoder:Learning to Write Programs」 https://www.microsoft.com/en-us/research/publication/deepcoder-learning-write-programs/ この論文は下図の様なInput配列とOutp…

画像から原因と結果を識別する論文を読む

(1) 画像から原因と結果を識別する論文を読む 「Discovering Causal signals in Images」https://arxiv.org/abs/1605.08179 これもhttps://twitter.com/miyamotok0105さん主催の「酒を飲みながらCVPR2017の論文を読む会」で興味を持った一つです。 この論文…

交通事故が起こる危険な場面の画像生成の論文を読む

ランニング30分 英語できず (1) 交通事故が起こる危険な場面の画像生成の論文を読む 「Expecting the Unexpected:Training Detectors for Unusual Pedestrians with Adeversarial Imposers」 https://scirate.com/arxiv/1703.06283 この論文は歩行者の危険な…

DeepMindのDQN統合版のRainBowの論文を読む

ランニング30分 英語できず (1) DeepMindのDQN統合版のRainBowの論文を読む 「Rainbow:Combining Imporvements in Deep Reinforcement Learning」https://arxiv.org/abs/1710.02298 2013年に発表されたDeepMind社のDQNの派生版を統合したRainbowの高パフォー…

複数人が競争する環境での強化学習の論文を読む

ランニングできず 英語できず (1) 複数人が競争する環境での強化学習の論文を読む 「Emergent Complexity via Multi-Agent Competition」https://arxiv.org/abs/1710.03748 複数の学習者が競争する環境は設定し易い環境ですが、強化学習にとっては最も複雑な…

難易度が高いゴールを自動的に見つける強化学習

ランニング30分 英語できず (1) 難易度が高いゴールを自動的に見つける強化学習 「Automatic Goal Generation for Reinforcement Learning Agents」 https://arxiv.org/abs/1705.06366 この論文には米国のロボット学の権威 Abbeel が参加しています。このモ…

分散型・敵対的生成モデルを使った逆強化学習の論文を読む

ランニング30分 英語できず (1)分散型・敵対的生成モデルを使った逆強化学習の論文を読む 「OptionGAN:Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reiforement Larning」https://arxiv.org/abs/1709.06683 この論文は逆強…

強化学習に敵対する学習の論文を読む

ランニングできず 英語できず (1) 強化学習に敵対する学習の論文を読む https://arxiv.org/abs/1703.06748kore これはAttariゲームの強化学習(Q-learning A3C)を効果的に敵対(妨害)するモデルの論文です。 敵対的な戦略として次の方法を採っています。 ・効…

文体のパターンの繰返しで深層学習する論文を読む

ランニングできず 英語できず (1) 文体のパターンの繰返しで深層学習する論文を読む 「Dynamic Evaluation of Neural Sequence Models」 https://arxiv.org/abs/1709.07432 一般に自然言語の深層学習では単語間の繋がりをLSTMで学習することが殆どですが、近…

強化学習方程式の不確実性を報酬に取込む論文を読む

テニス2時間 英語できず (1) 強化学習方程式の不確実性を報酬に取込む論文を読む 「The Uncertaintry Bellman Equation and Exploration」 https://arxiv.org/abs/1709.05380 この論文は強化学習を解くBellman方程式の近似解での不確実性を見積りより精緻に…

3D動画よりDoll House画像を生成する論文を読む

ランニング30分 英語できず (1) 3D動画よりDoll House画像を生成する論文を読む 「MatterPort3D: Learning from RGB-D Data in Indoor Environments」 https://arxiv.org/abs/1709.06158 この論文は屋内をMatterPort3Dと云う動画で撮ると、深層学習により屋…

CNN最適化の制御式を生成するRNNの論文を読む

ランニングできず 英語できず (1) CNN最適化の制御式を生成するRNNの論文を読む 「Neural Optimizer Search with Reinforcement Learning」 https://arxiv.org/abs/1709.07417 CNNの最適化の制御式をRNNが強化学習で学習するモデルでかなり画期的なモデルで…

DeepMindの外部メモリーによる生成モデルの論文を読む

ランニング30分 英語できず (1) DeepMindの外部メモリーによる生成モデルの論文を読む 「Variational Memory Addressing in Generative Models」https://arxiv.org/pdf/1709.07116.pdf この論文は深層学習の生成モデルVAEやGANで成果を出していることに対抗…

深層生成による暗黒物質探査の論文を読む

テニス2時間 英語できず (1)深層生成による暗黒物質探査の論文を読む 「Enabling Dark Energy Science of with Deep Generative Models of Galaxy Images」 https://arxiv.org/abs/1609.05796 宇宙の80%を占めると云われている暗黒物質は宇宙膨張の謎を解…

深層強化学習によるChatbotモデルの論文を読む

ランニング30分 英語:movie 2012 (1) 深層強化学習によるChatbotモデルの論文を読む 「A Deep Reinforcement Learning Chatbot」https://arxiv.org/abs/1709.02349 この論文はアマゾンの2017年の人工知能モデル競技会で開発された応答会話モデルMILABOTの詳…

プレイヤーと環境とが敵対的に学習する論文を読む

ランニングできず 英語できず (1) プレイヤーと環境とが敵対的に学習する論文を読む 「Learning to Design Games: Strategic Environments in Reinforcement Learning」 https://arxiv.org/abs/1707.01310v2 この論文は強化学習でプレイヤーと活動する環境と…

問題解決の効率化の論文を読む

ランニングできず 英語できず (1) 問題解決の効率化の論文を読む Arguments for the Effectiveness of Human Problem Solving - Paper Detail この論文は深層学習のHPで紹介されており、人工知能の提唱者であるSolomonoffレイ・ソロモノフ - Wikipediaの定理…

ImageNetの深層学習を24分間で達成した論文を読む

ランニングできず 英語:英語でOpenpose予測モデルを発表 (1) ImageNetの深層学習を24分間で達成した論文を読む [1709.05011v1] ImageNet Training in 24 Minutes 以前なら1ヶ月ぐらいかかったImageNetの深層学習が24分で済ませたという衝撃的なタイトルで…

Abbeelの相手の様子を見る強化学習の論文を読む

ランニングできず 英語できず (1) Abbeelの相手の様子を見る強化学習の論文を読む 「Learning with Opponent-Learning Awareness」https://arxiv.org/abs/1709.04326 ロボット学の第一人者のAbbeelが参加している敵対的強化学習の論文です。この強化学習はタ…

Attentionによる機械翻訳の論文を読む

ランニングできず 英語できず (1) Attentionによる機械翻訳の論文を読む 「Effective Approaches to Attention-based Neural Machine Translation」(2015/09/20) https://arxiv.org/abs/1508.04025 最近の自然言語処理ではAttentionは必ず聞く言葉なので、ど…

RNNで巡回問題を解く論文を読む

ランニング30分 英語できず (1) RNNで巡回問題を解く論文を読む 「Pointer Network」https://arxiv.org/abs/1506.03134 この論文は深層学習による自然言語処理でよく参照されるが、グラフィカルモデルの最適解も行えるので興味を持ち読んでみました。 まず有…