動的ベイジアンネットのノードが特徴量の空間を張る

ランニングできず 英語できず (1) 特徴量抽出の論文を探す。古いが、ようやく強化学習で動的ベイジアンネットによる特徴量抽出の論文に行き当たる。やはり確率的遷移のベイジアンネットの各ノードが特徴量を張るのかと思い当たる。 https://www.researchgate…

大学の研修の被監査で、想定通り失望する

ランニングできず 英語できず (1) 確率ロボテックス輪読 15章POMDP 方策(確信度)による価値推定 (2) Singularity勉強 特徴量の摘出の文献探し (3) 大学の研修の被監査 監査人はデザイン出身の若い学者 殆ど中身が理解できないので、プレゼンの方法のみ監査…

Singularity-QLearning

ランニング30分 英語できず (1) Singularityの問題を詳細に詰め始める。数理的に明快なQ学習から行う。 Q学習はDQNモデルの設定とする。 ・Q関数が下記で与えられる場合 ここでは状況s 行動a後 状況s'のi番目特徴量を示す ・損失関数 ・損失関数の偏微分 Q関…

大学の研修の方向性が決まる

ランニングできず 英語できず (1) Singularityの説明を大学の研修で説明するも、自分でも未消化であることが明白になった。 (2)大学の研修では、ラベリングが簡単な動作(バスケットボールのシュート等)をOpenPoseで多数データを取り、時系列解析して回帰分…

Singularityの試行No.2

ランニングできず 英語できず (1) Singularity達成の問題を引き続き詰める 定義:計算機が考えるとは以下の処理とする 計算機上で 現実的な動きをするオブジェクトが複数存在する。 自己オブジェクト以外のオブジェクトには確率的な動作が加わる 自己オブジ…

Singularityの試案

ランニング30 英語できず (1) 学校の研修の企画書のため、Singularityモデルの資料を作成し始める。 Singularityとは、計算機が自分で考える機能を持つことと定義 計算機が自分で考えるとは以下と捉える。 考えるとは、計算機が最適な方策を決定するまで、以…

OpenPose論文の資料を作成した

ランニング30分 英語30分 (1)DeepLearningでの生成モデルを開発したIan Goodfellowのインタビューを聞くが殆ど聞き取れない。新たなな課題が発生してしまった。 (2) OpenPoseの論文について資料を作成する。CNNというEnd-To-Endのパターン認識機能だけでも凄…

OpenPoseのPAFモデル

ランニング30分 英語30分 Ian Goodfellowのインタビュー Ep. 25: Google's Ian Goodfellow on How an Argument in a Bar Led to Generative Adversarial Networks by The AI Podcast | Free Listening on SoundCloud (1) OpenPose論文の身体構造解析の理解 …

OpenPose論文の発想に唖然とする

ランニング30分 英語:必ず途中で寝てしまう (1)引き続きOpenPoseの論文を読む。 https://arxiv.org/abs/1611.08050 この手の秀逸な論文を読むと学力・技術・発想の乖離に唖然としてしまう。 ・単純なCNNの画像処理でなく、もはやCNNの組合せで構成されてい…

ボトムアップ型のOpenPoseの論文を読む

ランニング30分 英語30分 (1)ラズパイマウスを起動してもsshで入れない。ラズパイマウスには画面もないし、リセットボタンも存在せず、sshで接続できないと電源OFFしか対処できずOSディスクが破壊される可能性がある。やもなく電源OFFしラズパイ用の画面を装…

python Xgboostがやっと動く

ランニングできず 英語できず (1)職場のPCでvirtualBox-Linux-python-xgboostがやっと動いた。windows+R+xgboostはすぐ稼動したが、Openな時代にCloseに固執するwindowsに見切りをつけLinuxに切り替える。難航していたのは以下の点 ・恐ろしいことに金融機…

LSD-SLAMを稼動してもらった

ランニング30分 英語できず (1)LSD-SLAM用のPCの手配を大学に依頼すると、大学のM先生がVirtualBox+Ubuntu14+IndigoでLSD-SLAMを稼動させてくれた。特徴量抽出のデータ生成で一歩程度前進だ。M先生からORB-SLAMもあるとのこと。これは上田先生の講演で紹介し…

高度なOpenソースは相当OSの知識が必要になっている

ランニング30分 英語できず (1) 当初難航が想定された3D-SLAMのインストールがうまく行かず、やはりUbuntu14+Indigo(ROS)でないと無理の様である。Openソースによる技術発展は非常に有益だが、OS環境自体も発展するので、相当OSの知識がないと扱えない領域…

迷路探索ゲームの論文を読み始める

ランニング30分 英語20分 (1)3D上の特徴量の解析のため、3D-SLAMとしてLDS-SLAMのインストールを試みる。下記サイトに詳細な方法が記述されている。このサイトではUbuntu14 ROS:Indigoとなっている。 趣味なし奴のメモ帳: LSD-SLAMをROSで試す1-インストー…

シンギュラリティの具体的な問題を考える

ランニングできず 英語できず (1)シンギュラリティの可能性が指示を集められない理由とその打開策を模索する。Arxiv SanityでSingularityを検索したが殆どヒットしないので文献に頼れないことになる 状況を表す「特徴量」と課題の「解決状態」だけ入力すれば…

先端のAI研究者は1日10本論文を読む

ランニングできず 英語できず (1) 確率ロボット輪読会に参加。9~13章のSLAMが終了し、強化学習の章になってほっとする。ここではBellman方程式による方策関数と価値関数の両方の実装が必要になっており先進的なモデルである事がわかる。両関数も非線形なの…

協調型の強化学習の論文を読む

ランニングできず 英語できず (1) マルチエージェントの強化学習モデルの論文を読む。この動画はこのモデルでの対戦模様である。 https://arxiv.org/abs/1703.10069 Alpha碁の成功によって単独の強化学習は目処がたったとして、社会型のAIとして協調型の強化…

AI論文読み会の資料にシンギュラリテイを盛り込む

ランニングできず 英語30分 (1) CMUの留学生がOpenPoseの動画デモを見に大学に来たので少し話す。OpenPoseを見に来たので相手の専攻をBioInfomaticと言っているのをBioPhotometricと聞き間違い、以降すれ違いの会話となってしまった。英語は先入観で全く異な…

マルチエージェントモデルの論文を初めて読む

テニススクール90分 英語できず (1) テニスで運動した後、図書館で下記の強化学習系の論文を読む。目的はGame場面毎の特徴量の抽出方法を探るため ・DeepMindの擬似カウントモデル https://arxiv.org/abs/1703.01310 N社のSさんから教えてもらったDeepMindの…

動作がある場面の特徴量の抽出では、有向のベイジアンネットが使えると考える

ランニングできず 英語できず (1)T研の機械学習ゼミで解説があったGANの理論背景の論文を再読することにする。 https://arxiv.org/abs/1610.03483 途中まで読んで、これは確率密度比の理論と思っていたが、再読すると殆ど理解していない事に愕然とする。 (2)…

Steinモデルによる生成モデルに注目する

ランニングできず 英語できず (1) Bengioの論文の未理解部分を再検討し、1箇所を除き漸く納得した。未解明部分はエントロフィの算出部分であるがプログラム見るしかない。不明だった点として実験例に手書き数字の変遷過程が掲載されている。例えば8と3の…

Bengioのエネルギーベースの生成モデルを纏める

テニス2時間 英語できず (1) BengioのEnergy-Baseの生成モデルを纏める。このモデルはGANではなく、安定エネルギーに向かってデータを生成しているモデルである。しかしエネルギー関数は敵対的な関数を採用している。いつもながら資料を作ってみると細かい…

言語解析の経験の無さを自覚する

ランニングできず 英語できず (1) 大学でチーム別の研究発表会があり、内容が幼稚でこの大学の教育レベルでは廃校になる可能性が高い。ただ工業デザインでは有名なので、それなりの学生が集まるらしく秀逸な研究もあった。 (2)J研で大学院の説明会に参加し、…

Bengioのエネルギーベースの生成モデルを読む

ランニング30分 英語15分 (1) 超有名なBengioが参加しているエネルギーベースの生成モデルの論文を読む。DeepLearningの生成モデルでエネルギー関数を使ってGANを数理的に厳密化したものである。流石に理論も拡張性もありすばらし論文である。GANでは生成器…

Alpha碁がシンギュラリティと思っている人は少ない様だ

ランニングできず 英語できず (1) TwitterにAlpha碁がシンギュラリティだと投稿したが反応なし。計算機が自分で考え出す状態をシンギュラリティと云うが、自分の大学のDeepLearningの先生もそうだが、皆分っていないらしくチャンスとも思える。Alpha碁の構造…

エネルギーベースのGAN論文に取り組む

テニススクール90分 英語できず (1) 最近英語のヒアリングをしていない為か、かなり映画とか聞き取れなくなっている。 (2) Fさんから、自動運転の50万円講習の案内を受け取る。 www.nikkeibp.co.jp この案内にはPDFの技術資料があり参考になった。 1位置測…

敵対的な仕掛けはVAEを元に考えるべき

ランニング30分 英語できず (1)AI論文を読むのは、「巨人の肩に乗る」ことなので相当体力が要ることが分り、若い時代にしておくべきと悔やんでも遅い。T先生から師匠 竹内啓先生の話で論文には3種類あるので注意が必要との話があり、論文を探す場合は緊張す…

敵対的関係を使った特徴量の学習の論文を読む

ランニングできず 英語できず (1) 敵対的関係がシンギュラリィテイの鍵と信じて論文検索すると下記の特徴量の学習に敵対的関係を使っている論文に行き当たる。 Controllable Invariant Through Adversarial Feature Learning https://arxiv.org/abs/1705.111…

脳は敵対的な反復で一般化していると想定

テニス2時間 英語できず (1) Socherの文章要約論文を読む。これは長い文章を要約するもので、英語の記事では「タイトル」と「本文」の構成なので、タイトルを正解とし、本文を入力とするEncoder-Decorder型の教師付モデルである。文章をBI-LSTMのAttention…

盛り沢山の成果があったがSocher論文が読めず

ランニングできず 英語できず (1) 確率ロボッテックスのSLAM9~13章の輪読終了。殆ど理解できず9章から再読中。その理解のため上田先生のSLAMをダウンロードしたがIpythonコードのため、Ipythonインストールするが失敗 https://github.com/ryuichiueda/probr…

Distance Supervision論文を読む

ランニング30分 英語30分Lesson31 (1) Distance supervision for relation extractionを読む http://web.stanford.edu/~jurafsky/mintz.pdf これは言葉間の関係知識ベースFreebaseを使って、ラベル付の文章の特徴量を生成し、ラベルと特徴量から回帰して分類…

明示的知識ベースによるNLP分析の論文を読む

ランニングできず 英語できず (1)知識ベースを使うNLPのサーベイ論文の纏めを行う。 LDAで著名なT先生の意見では、wordNet等の明示的な知識ベースを使ったNLP分析は効果が出ないとの指摘であったが、今回の論文を読み、明示的知識ベースを使うと精度が高めら…

機械学習での概念知識ベースのまとめ

(1)Machine Learning with Wold Knowledge:The Position and Survey のまとめ Survey(調査)なる論文を初めて読んだが、課題図書の一覧リストを読む思いをした。 https://arxiv.org/abs/1705.02908 1 Introduction NLPでの知識ベースの役割として、以下の2…

NIPS常連レベルの学識との壁を感じる

ランニングできず 英語できず (1)T研で日本語機械学習ゼミに参加 K君のSteinオペレータによる関数近似の論文の解説。流石にNIPS常連のK君レベルになると殆ど理解できず。改めて数理統計のプロの凄さを体感する。 http://www.cs.dartmouth.edu/~qliu/PDF/stei…

NLPの知識ベースの論文をやっと読むが再度熟読が必要となる

ランニングできず 英語30分 Lesson33 (1) やっとMachine Learning with world Knowlegを読む。5/8日に投稿されたNLPの知識表現を網羅的に扱った論文で、冒頭の2点の問題設定に引き込まれたが、 ・知識表現の特徴量抽出の技術 ・文章要約の技術 基本的には参…

アルファ碁の勝因はGANモデルであること

テニス2時間 英語30分 Lesson33 (1) やはりAlpha碁の完勝は、強化学習での敵対的モデル(Adversarial Model)の有効性を証明したと思う。碁の様に天文学的な組合せでの最適化を可能にしたのは、対戦もAlpha碁とした事である。ロボッテクスの性能は、特徴量の…

研究者は年間500本の論文を読めとの話

ランニング30分 英語できず (1) DeepLearningの中山英樹研究室のTwitterでは、研究者は年間500本論文を読めとの話であった、AI論文が月間2000本出ているので実に少ない気がする。自分の生活としては毎日1本は読む必要を感じる。 (2)機械学習に概念を導入す…

グラフィカルな概念知識の章を読む

ランニングできず 英語30分 Lesson30 (1) 引き続き「Machine Learning with Wold Knowlege」を読む。4章のExplicit Sematic Analysisの理屈がわかりにくい。この手のSurvey論文では古典的な手法の紹介がメインなので数式の定義が曖昧で苦労する。単語毎の概…

ラズパイマウスのwifi接続できた

ランニングできず 英語できず (1) 機械学習で概念を学ぶ論文を引続き読む。 ようやく概念をモデルとして取り入れる§4に入いる。この本のレベルでは言葉とWikipediaのページ(概念)との共起確率TF-IDFを特徴量として定義している。 [1705.02908] Machine Learn…

機械学習で常識を獲得する論文を読む

テニススクール90分 英語15分 Lesson28 Socherの論文で意味理解の精度を上げるなら、一般知識を組込む方がよいとあったので、20170508投稿の「Machine Learning with World Knowlege」を読み始める。機械学習の半教師学習による一部の知識から未知な知識の獲…

SLAMを全てが曖昧な環境での自己位置推定と理解する

ランニングできず 英語30分 Lesson 28 (1)ロボット学会に千葉工大の上田先生が登壇すると聞き、急遽参加する。 http://www.rsj.or.jp/seminar/s105/第105回 ロボットに使えるビジョン技術 上田先生の話は、本当に自分の為だけにあったのではないかというSLAM…

Socherの本格的な意味解析の論文

ランニングできず 英語できず 終日Socherの論文読み。意味解析を本格的に取組んだ古典的名論文である。 https://nlp.stanford.edu/pubs/SocherHuvalManningNg_EMNLP2012.pdf 言葉を配列Lと行列Lmのペアとしてとらえ、2分岐パーサで言葉間の関係を配列の重み…

Socherの意味理解の論文を読む

テニス2時間 英語30分 Lesson25 (1) Socherの論文:文章意味理解で語句をベクトルと行列で定義して、その統合を重みをニューロで実現するモデルが難解で理解できない。古典に入る論文なので是非理解したいと焦る。注目すべきは、知識ベースを反映するモデル…

論文読み会の内容が自分の関連の延長だった

ランニングできず 英語できず (1) 月1回開催されるNextrema社のAI論文読会に参加して、自分もIRSとGANの関係の論文の説明する。 Irs gan doc 斉藤さんはDeepMind社のレア(Pdeudo Count)な局面選択に報酬を与える論文とゲーム場面の価値を密度表現したグラフ…

感情を強化学習(RL)でモデル化する論文を読む

ランニング30分 英語30分 Lesson24 (1) 感情とロボテックスの論文を読む。 [1705.05172] Emotion in Reinforcement Learning Agents and Robots: A Survey 強化学習の「報酬と局面」認識を内部環境として下図のAとBの様にとらえ、選択の幅を拡張しようとする…

言語の意味を考えてみる

ランニングできず 英語できず TeamAIの掲載記事から感情とロボテックスの論文を読み始める。強化学習は報酬の最適化で行動が決定されるので、報酬量=好悪の感情と考えると当たり前なのだが、言語の意味理解に参考になるかもしれないと、長い論文だが読んで…

CNN-SLAM論文読みとROSの復習

テニススクール90分 英語30分 Lesson23 昨日にのOSインストールに続きラズパイ3スにROSインストールする。ラズパイとで無線で通信するのでWifi接続を試みるが、ルータ経由の無線環境が自宅にないので作業が中断する。ルータの無線カードが中古で5000円もす…

ラズパイにubuntu16を入れる

ランニング30分 英語30分 Lesson 23 学校でのSLAM研修のため、終日 上田本に従ってラズパイ・マウスを稼動させる作業を行う。 この本はラズパイ3(ARM64ビット機)上にOS ubuntu16 ROSでSLAMを実現するものだ。64ビット機なのでDeepLearningの学習結果も実行…

wxPythonでAIツールを再作成することにする。

ランニングできず 英語できず CNN-SLAMの論文を引き続き読む。ROSのマニュアルで単眼カメラでどの様にSLAMを実現しているか議論したことがあるが、これを使っていると判明。これにCNNで3Dの画像認識を訓練させている。領域認識はReal-SLAMで行っていている…

3D領域認識のCNN-SLAMの論文を読む

テニス2時間 英語30分 Lesson 21 家の沖合いでウンドサーフィン国際大会をやっていたので写真を撮る。 TwitterでCNN-SLAMの動画「3Dの領域認識」見て論文をダウンロードする。これはDLのCNNと位置認識SLAMとの統合モデルである。 [1704.03489] CNN-SLAM: R…