言語解析の経験の無さを自覚する
ランニングできず 英語できず
(1) 大学でチーム別の研究発表会があり、内容が幼稚でこの大学の教育レベルでは廃校になる可能性が高い。ただ工業デザインでは有名なので、それなりの学生が集まるらしく秀逸な研究もあった。
(2)J研で大学院の説明会に参加し、M先生と面談。言語解析は結構力技が必要と諭され、本格的に言語解析をしなかった自分としては議論できなかった。長年かかってやっと見つけたテーマであるシンギュラリィティを研究するためには多くの選択肢を考える必要がある。
Bengioのエネルギーベースの生成モデルを読む
ランニング30分 英語15分
(1) 超有名なBengioが参加しているエネルギーベースの生成モデルの論文を読む。DeepLearningの生成モデルでエネルギー関数を使ってGANを数理的に厳密化したものである。流石に理論も拡張性もありすばらし論文である。GANでは生成器と識別器の２モデルのDLで精緻化するが、これも２モデルのDLでエネルギーモデル(Deep Energy Model)の最小化で精度を向上させ、エネルギーモデルの結果を生成器(Deep Generative Mode)に反映させ、できるだけエネルギーが少ないデータを生成するものである。 GANやVAEは画像の生成モデルしか実績はないが、このモデルは複雑な事象でも適応できそうである。Bengioがエネルギー関数を「Expert（熟練者）」と呼んでいるのは、逆強化学習を意図したものと考えられる。
[1606.03439] Deep Directed Generative Models with Energy-Based Probability Estimation
Alpha碁がシンギュラリティと思っている人は少ない様だ
ランニングできず 英語できず
(1) TwitterにAlpha碁がシンギュラリティだと投稿したが反応なし。計算機が自分で考え出す状態をシンギュラリティと云うが、自分の大学のDeepLearningの先生もそうだが、皆分っていないらしくチャンスとも思える。Alpha碁の構造は明らかにGANと同じである。GANは生成器がノイズからモデルを作るが、Alpha碁は強化学習によってモデルを生成する所が異なるだけである。DeepMaindのハザビスの考える所は碁以外に医療、翻訳、自動運転にこの方式を適用することである。急がなくてはならない。
(2) 会社にAI用のノートPCとしてApple製を要求したがWindows10(64-bit)が提供された。日本の大手企業でもLinuxを使う事は未だに想定外の様である。仕方が無いのでVirtualBoxの仮想OS機能を使ってUbuntu16を入れるが失敗。Ubuntuという本の添付CDのUbuntu14は無事にインストールでき、Pyothon3と統合開発環境Spyderをインストールする。これで丸１日を費やした。
(3) エネルギーベースのGANの論文を途中まで読む。DeepLearning系の論文は数式は殆ど無く実験報告が主だが、これは数式による理論展開であり信頼できる。
エネルギーベースのGAN論文に取り組む
テニススクール90分 英語できず
(1) 最近英語のヒアリングをしていない為か、かなり映画とか聞き取れなくなっている。
(2) Fさんから、自動運転の50万円講習の案内を受け取る。
この案内にはPDFの技術資料があり参考になった。
１位置測定http://4c281b16296b2ab02a4e0b2e3f75446d.cdnext.stream.ne.jp/randc/mirai/1-3%20Localization.pdf
２ROSプログラミングhttp://4c281b16296b2ab02a4e0b2e3f75446d.cdnext.stream.ne.jp/randc/mirai/2-1%20catkin.pdf
４対象物認識http://4c281b16296b2ab02a4e0b2e3f75446d.cdnext.stream.ne.jp/randc/mirai/4-1%20Ex-detection.pdf
自分としては、ここで分ったことは以下
①ROSで対象物認識ができるライブラリィがある。但し精度は不明
②所与の詳細３D地図と３D-
③ROSでは計算負荷が大きくRealTime用の「ROS2」
この様な講習があるのは、実用には難しいことを示していると思われる。
(2) シンギュラリティ実現には敵対的なモデルを考える必要を感じ、T研の機械学習ゼミで報告があったエネルギーベースのGANモデルの論文をもう一度精読し実装までしたい。
現在のロボテックスもNLPも人間に似せる方法で奮闘中であり、半教師モデルで複雑で構造的なモデルを如何に生成できるかに懸かっている。早く参画したいものだ。エネルギーベースのGANは理論的に完成度が高く発展性を感じる。
敵対的な仕掛けはVAEを元に考えるべき
ランニング30分 英語できず
(1)AI論文を読むのは、「巨人の肩に乗る」ことなので相当体力が要ることが分り、若い時代にしておくべきと悔やんでも遅い。T先生から師匠 竹内啓先生の話で論文には3種類あるので注意が必要との話があり、論文を探す場合は緊張する。
読んで頭が悪くなる論文
読んで概要と結果だけメモするだけの論文
読んで精査する価値の論文
敵対的を使った特徴量の学習の論文を読んでいるが、条件付VAEに似ている所があり、やはり敵対的関係の論文はKingmaを元に考えるべきと思う。
https://arxiv.org/abs/1406.5298
(2) 疲れが溜まったのか風邪でダウン。夕方少し調子良くなったのでランニングする。
今の季節はランニングは本当に気持ちよい。
(3) 疲れているのでラズパイ・マウスを上田本で５章まで動かして見る。所々本の通り動かない所があり、神経を使う
敵対的関係を使った特徴量の学習の論文を読む
ランニングできず 英語できず
(1) 敵対的関係がシンギュラリィテイの鍵と信じて論文検索すると下記の特徴量の学習に敵対的関係を使っている論文に行き当たる。
Controllable Invariant Through Adversarial Feature Learning
https://arxiv.org/abs/1705.11122
脳は敵対的な反復で一般化していると想定
テニス２時間 英語できず
(1) Socherの文章要約論文を読む。これは長い文章を要約するもので、英語の記事では「タイトル」と「本文」の構成なので、タイトルを正解とし、本文を入力とするEncoder-Decorder型の教師付モデルである。文章をBI-LSTMのAttentionを特徴量とし、要約をRNNの特徴量て学習する。この様なDeepLearningの論文では正当性を示す理論的な数式がない。この論文の特徴は長い「本文」を学習させており、そのため最大尤度を報酬とする強化学習を使っている。残念なことに報酬の具体的な算出方法は明示されていおらず、この論文は査読が通っていない可能性が高い。
損失関数
下記に出力例の紹介がある
(2) AI理論のMemo
人間の脳は状況毎の正確な判断に至るには、以下の過程とMemoする
1) 決断時の状況を試行的に特徴量で分解して情報量を縮減している
2) 判断の正当性の吟味は敵対的な反復で精度を高めている
3) 敵対的な状況でも正当とされた判断は、一般化な解に近く理論化し易い
4)理論的が実際に適合できれば、特徴量の認識と同時に体験化される
