AI論文
ランニングできず 英語30分 Fly to then Moon (1)T研の機械学習ゼミでM先生の発表を聞く。DeepMindの「Neural Turing Machine」の理論背景が下記の論文で解明され、これの解説 https://arxiv.org/abs/1611.02854 Neural Tureing Machine では下記の様なこと…
テニス・ランニング2時間 英語 30分 Bone Idendity (1) SNSからの情報で、DeepMindの下記論文を読み始める。 https://arxiv.org/abs/1706.06383 DeepMindの3D世界の自然言語理解については、One-Shot学習で敵対的学習や転移学習の一般化や拡張する理解が行わ…
ランニングできず 英語30分 The Boune Leagacy (1) DeepMindの自然言語を理解するUNREALモデルの論文を読み、深い感動を覚える。 このモデルは自然言語理解に於ける２つの懸案事項を解決している。 ・計算機が言語を教える事を可能にした。 言語理解で正解す…
ランニングできず 英語30分 (1) DeepMind UNREALでの自然言語理解の論文を読む Grounded Language Learning in a Simulated 3D World | DeepMind これは迷路ゲームの中に報酬が複数ある。 a)報酬の取り方の順序を自然言語で与える。 b)実際にその順番で報酬…
ランニング30分 英語：How the West Won (1) Deep MindのUNREALを読む。このモデルは迷宮(Labyrinth)Gameを対象としているので、コーナを曲がると別画面になるため、直接に画像から特徴量を抽出するDQNモデルは１部しか使えない。 このモデルでは、様々な暗…
ランニング30分 英語できず (1) データからベイジアンネット生成による特徴量は、データ項目が十分あり、そこからネットを構成するノードに限定できたものとなる。データ項目に含まれない場合、認識できない。逆強化学習も十分な特徴量を構成できるデータ項…
ランニングできず 英語できず (1) 動的ベイジアンネットによるロボット制御では、Thrunの確率ロボテックスのPOMDPでも行っている。これは方策πが確信度の関数で最大価値Vを計算するモデルであるので、確信度を動的ベイジアンネットで計算するものである。 ベ…
ランニングできず 英語できず (1) 特徴量抽出の論文を探す。古いが、ようやく強化学習で動的ベイジアンネットによる特徴量抽出の論文に行き当たる。やはり確率的遷移のベイジアンネットの各ノードが特徴量を張るのかと思い当たる。 https://www.researchgate…
ランニング30分 英語できず (1) Singularityの問題を詳細に詰め始める。数理的に明快なQ学習から行う。 Q学習はDQNモデルの設定とする。 ・Q関数が下記で与えられる場合 ここでは状況s 行動a後 状況s'のi番目特徴量を示す ・損失関数 ・損失関数の偏微分 Q関…
ランニング30分 英語30分 (1)DeepLearningでの生成モデルを開発したIan Goodfellowのインタビューを聞くが殆ど聞き取れない。新たなな課題が発生してしまった。 (2) OpenPoseの論文について資料を作成する。CNNというEnd-To-Endのパターン認識機能だけでも凄…
ランニング30分 英語30分 Ian Goodfellowのインタビュー Ep. 25: Google's Ian Goodfellow on How an Argument in a Bar Led to Generative Adversarial Networks by The AI Podcast | Free Listening on SoundCloud (1) OpenPose論文の身体構造解析の理解 …
ランニング30分 英語：必ず途中で寝てしまう (1)引き続きOpenPoseの論文を読む。 https://arxiv.org/abs/1611.08050 この手の秀逸な論文を読むと学力・技術・発想の乖離に唖然としてしまう。 ・単純なCNNの画像処理でなく、もはやCNNの組合せで構成されてい…
ランニングできず 英語できず (1)職場のPCでvirtualBox-Linux-python-xgboostがやっと動いた。windows＋R+xgboostはすぐ稼動したが、Openな時代にCloseに固執するwindowsに見切りをつけLinuxに切り替える。難航していたのは以下の点 ・恐ろしいことに金融機…
ランニング30分 英語20分 (1)３D上の特徴量の解析のため、3D-SLAMとしてLDS-SLAMのインストールを試みる。下記サイトに詳細な方法が記述されている。このサイトではUbuntu14 ROS:Indigoとなっている。 趣味なし奴のメモ帳: LSD-SLAMをROSで試す1-インストー…
ランニングできず 英語できず (1) 確率ロボット輪読会に参加。9～13章のSLAMが終了し、強化学習の章になってほっとする。ここではBellman方程式による方策関数と価値関数の両方の実装が必要になっており先進的なモデルである事がわかる。両関数も非線形なの…
ランニングできず 英語できず (1) マルチエージェントの強化学習モデルの論文を読む。この動画はこのモデルでの対戦模様である。 https://arxiv.org/abs/1703.10069 Alpha碁の成功によって単独の強化学習は目処がたったとして、社会型のAIとして協調型の強化…
ランニングできず 英語30分 (1) CMUの留学生がOpenPoseの動画デモを見に大学に来たので少し話す。OpenPoseを見に来たので相手の専攻をBioInfomaticと言っているのをBioPhotometricと聞き間違い、以降すれ違いの会話となってしまった。英語は先入観で全く異な…
テニススクール90分 英語できず (1) テニスで運動した後、図書館で下記の強化学習系の論文を読む。目的はGame場面毎の特徴量の抽出方法を探るため ・DeepMindの擬似カウントモデル https://arxiv.org/abs/1703.01310 N社のSさんから教えてもらったDeepMindの…
ランニングできず 英語できず (1)T研の機械学習ゼミで解説があったGANの理論背景の論文を再読することにする。 https://arxiv.org/abs/1610.03483 途中まで読んで、これは確率密度比の理論と思っていたが、再読すると殆ど理解していない事に愕然とする。 (2)…
ランニングできず 英語できず (1) Bengioの論文の未理解部分を再検討し、１箇所を除き漸く納得した。未解明部分はエントロフィの算出部分であるがプログラム見るしかない。不明だった点として実験例に手書き数字の変遷過程が掲載されている。例えば８と３の…
テニス２時間 英語できず (1) BengioのEnergy-Baseの生成モデルを纏める。このモデルはGANではなく、安定エネルギーに向かってデータを生成しているモデルである。しかしエネルギー関数は敵対的な関数を採用している。いつもながら資料を作ってみると細かい…
ランニング30分 英語15分 (1) 超有名なBengioが参加しているエネルギーベースの生成モデルの論文を読む。DeepLearningの生成モデルでエネルギー関数を使ってGANを数理的に厳密化したものである。流石に理論も拡張性もありすばらし論文である。GANでは生成器…
ランニングできず 英語できず (1) TwitterにAlpha碁がシンギュラリティだと投稿したが反応なし。計算機が自分で考え出す状態をシンギュラリティと云うが、自分の大学のDeepLearningの先生もそうだが、皆分っていないらしくチャンスとも思える。Alpha碁の構造…
テニススクール90分 英語できず (1) 最近英語のヒアリングをしていない為か、かなり映画とか聞き取れなくなっている。 (2) Fさんから、自動運転の50万円講習の案内を受け取る。 www.nikkeibp.co.jp この案内にはPDFの技術資料があり参考になった。 １位置測…
ランニング30分 英語できず (1)AI論文を読むのは、「巨人の肩に乗る」ことなので相当体力が要ることが分り、若い時代にしておくべきと悔やんでも遅い。T先生から師匠 竹内啓先生の話で論文には3種類あるので注意が必要との話があり、論文を探す場合は緊張す…
テニス２時間 英語できず (1) Socherの文章要約論文を読む。これは長い文章を要約するもので、英語の記事では「タイトル」と「本文」の構成なので、タイトルを正解とし、本文を入力とするEncoder-Decorder型の教師付モデルである。文章をBI-LSTMのAttention…
ランニングできず 英語できず (1) 確率ロボッテックスのSLAM9～13章の輪読終了。殆ど理解できず9章から再読中。その理解のため上田先生のSLAMをダウンロードしたがIpythonコードのため、Ipythonインストールするが失敗 https://github.com/ryuichiueda/probr…
ランニング30分 英語30分Lesson31 (1) Distance supervision for relation extractionを読む http://web.stanford.edu/~jurafsky/mintz.pdf これは言葉間の関係知識ベースFreebaseを使って、ラベル付の文章の特徴量を生成し、ラベルと特徴量から回帰して分類…
ランニングできず 英語できず (1)知識ベースを使うNLPのサーベイ論文の纏めを行う。 LDAで著名なT先生の意見では、wordNet等の明示的な知識ベースを使ったNLP分析は効果が出ないとの指摘であったが、今回の論文を読み、明示的知識ベースを使うと精度が高めら…
(1)Machine Learning with Wold Knowledge:The Position and Survey のまとめ Survey（調査）なる論文を初めて読んだが、課題図書の一覧リストを読む思いをした。 https://arxiv.org/abs/1705.02908 1 Introduction NLPでの知識ベースの役割として、以下の２…
