ランニングできず 英語できず (1)T研で日本語機械学習ゼミに参加 K君のSteinオペレータによる関数近似の論文の解説。流石にNIPS常連のK君レベルになると殆ど理解できず。改めて数理統計のプロの凄さを体感する。 http://www.cs.dartmouth.edu/~qliu/PDF/stei…

ランニングできず 英語30分 Lesson33 (1) やっとMachine Learning with world Knowlegを読む。5/8日に投稿されたNLPの知識表現を網羅的に扱った論文で、冒頭の２点の問題設定に引き込まれたが、 ・知識表現の特徴量抽出の技術 ・文章要約の技術 基本的には参…

テニス２時間 英語30分 Lesson33 (1) やはりAlpha碁の完勝は、強化学習での敵対的モデル(Adversarial Model)の有効性を証明したと思う。碁の様に天文学的な組合せでの最適化を可能にしたのは、対戦もAlpha碁とした事である。ロボッテクスの性能は、特徴量の…

ランニング30分 英語できず (1) DeepLearningの中山英樹研究室のTwitterでは、研究者は年間500本論文を読めとの話であった、AI論文が月間2000本出ているので実に少ない気がする。自分の生活としては毎日１本は読む必要を感じる。 (2)機械学習に概念を導入す…

ランニングできず 英語30分 Lesson30 (1) 引き続き「Machine Learning with Wold Knowlege」を読む。４章のExplicit Sematic Analysisの理屈がわかりにくい。この手のSurvey論文では古典的な手法の紹介がメインなので数式の定義が曖昧で苦労する。単語毎の概…

ランニングできず 英語できず (1) 機械学習で概念を学ぶ論文を引続き読む。 ようやく概念をモデルとして取り入れる§4に入いる。この本のレベルでは言葉とWikipediaのページ(概念)との共起確率TF-IDFを特徴量として定義している。 [1705.02908] Machine Learn…

テニススクール90分 英語15分 Lesson28 Socherの論文で意味理解の精度を上げるなら、一般知識を組込む方がよいとあったので、20170508投稿の「Machine Learning with World Knowlege」を読み始める。機械学習の半教師学習による一部の知識から未知な知識の獲…

ランニングできず 英語30分 Lesson 28 (1)ロボット学会に千葉工大の上田先生が登壇すると聞き、急遽参加する。 http://www.rsj.or.jp/seminar/s105/第105回 ロボットに使えるビジョン技術 上田先生の話は、本当に自分の為だけにあったのではないかというSLAM…

ランニングできず 英語できず 終日Socherの論文読み。意味解析を本格的に取組んだ古典的名論文である。 https://nlp.stanford.edu/pubs/SocherHuvalManningNg_EMNLP2012.pdf 言葉を配列Lと行列Lmのペアとしてとらえ、２分岐パーサで言葉間の関係を配列の重み…

テニス２時間 英語30分 Lesson25 (1) Socherの論文：文章意味理解で語句をベクトルと行列で定義して、その統合を重みをニューロで実現するモデルが難解で理解できない。古典に入る論文なので是非理解したいと焦る。注目すべきは、知識ベースを反映するモデル…

ランニングできず 英語できず (1) 月１回開催されるNextrema社のAI論文読会に参加して、自分もIRSとGANの関係の論文の説明する。 Irs gan doc 斉藤さんはDeepMind社のレア(Pdeudo Count)な局面選択に報酬を与える論文とゲーム場面の価値を密度表現したグラフ…

ランニング30分 英語30分 Lesson24 (1) 感情とロボテックスの論文を読む。 [1705.05172] Emotion in Reinforcement Learning Agents and Robots: A Survey 強化学習の「報酬と局面」認識を内部環境として下図のAとBの様にとらえ、選択の幅を拡張しようとする…

ランニングできず 英語できず TeamAIの掲載記事から感情とロボテックスの論文を読み始める。強化学習は報酬の最適化で行動が決定されるので、報酬量＝好悪の感情と考えると当たり前なのだが、言語の意味理解に参考になるかもしれないと、長い論文だが読んで…

テニススクール90分 英語30分 Lesson23 昨日にのOSインストールに続きラズパイ３スにROSインストールする。ラズパイとで無線で通信するのでWifi接続を試みるが、ルータ経由の無線環境が自宅にないので作業が中断する。ルータの無線カードが中古で5000円もす…

ランニング30分 英語30分 Lesson 23 学校でのSLAM研修のため、終日 上田本に従ってラズパイ・マウスを稼動させる作業を行う。 この本はラズパイ３（ARM64ビット機)上にOS ubuntu16 ROSでSLAMを実現するものだ。64ビット機なのでDeepLearningの学習結果も実行…

ランニングできず 英語できず CNN-SLAMの論文を引き続き読む。ROSのマニュアルで単眼カメラでどの様にSLAMを実現しているか議論したことがあるが、これを使っていると判明。これにCNNで３Dの画像認識を訓練させている。領域認識はReal-SLAMで行っていている…

テニス２時間 英語30分 Lesson 21 家の沖合いでウンドサーフィン国際大会をやっていたので写真を撮る。 TwitterでCNN-SLAMの動画「３Dの領域認識」見て論文をダウンロードする。これはDLのCNNと位置認識SLAMとの統合モデルである。 [1704.03489] CNN-SLAM: R…

ランニングできず 英語20分 Lesson 21 午前中は自動運転の勉強会「確率ロボテックス」13章 I君の輪読で解説。I君のクレバー差が分かる一方、殆ど内容が理解できなかった。11～13章は再読で早急に理解する必要がある。早く学校がPDF版の購入が待たれる。 午後…

ランニング30分 英語30分 Lesson 20 明日のAI論文読み会の資料を作成する。資料を作成していつも思うことは、論文の理解が不十分で改めて発見があるということ。体力的には厳しいが、論文の資料作成は大事と感ずる様になった。GANの限界もIRLの難しさも改め…

ランニングできず 英語できず Sockerの構文RNNの論文を読みはじめる。構文RNNによる分散表現が、感情分析や発話分析上、良い結果を示すのは驚きであるが一方当然との思いもある。このRNNがLSTMでなく単純なRNNである事も説得力がある。 https://nlp.stanford…

ランニング30分 英語30分 Lesson19 自然言語からプログラム生成をRLとMMLで行うStanfordの論文をTwitterに揚げると、それなりに反応があったがあったが直ぐ収束したのは、この論文が具体的な記述が少ないからと思われる。報酬を何にするかの記述は欲しかった…

ランニング30分 英語30分 Lesson18 自然言語からプログラムを生成するStandFordの論文を読む。BI-LSTMでEncode-Decodeする枠組みは同じだが、プログラムの最適選択をRL（強化学習）とMML（Max Marginal Likelihood)の両方を使って局所解を避けて生成するもの…

ランニングできず 英語できず 職場で64ビットPCが手配が遅れているので、仕方なくsciTeでpythonプログラムで要約文の抜出のLexRankを作成する。Linux上のspyやnotebookの様な統合開発環境では無いがそれなりの開発環境がある。ファイルから文字を読込み句読…

テニス２時間 英語できず 引き続き、RLとMMLによるプログラム生成の論文をBeamSearchまで読む。 RLとMMLは共通の定式化が可能なのは、GANとIRLが同じという理論の反対の定式化であろう。 TwitterのYutaさんの投稿で有名なPredNetの論文を読んでみる気になる…

ランニングできず 英語 30分 Lesson17 体調がすぐれず午前中寝ていた。 午後大学で研修の打合せ、T君がラズパイマウスを稼動する様にしてくれて助かる。筑波チャレンジをO先生が企画しており、また千葉工大の原祥尭先生のROSによる詳細な資料が見つかり、よ…

ランニングできず 英語できず 男性一人では入店禁止の横須賀の猫カフェに女房と一緒に行く。久々に猫を触ってストレスを解消したが、女房が我侭を言うので却って疲れた。 昨日に続きGANに よる翻訳の論文を読む。原文と翻訳文を2次元にして、これをCNNに入れ…

テニス２時間 英語30分 Lession 16 連休中の快晴の中で４日もテニスできたのは幸運だった。 中国人達が書いた、GANによる翻訳の論文を途中まで読む。強化学習を使っていて本格的とわかるが、通常のニューロ方式の手法がアドホックでよく理解できない。 Twitt…

ランニングできず 英語できず 薬が切れたため、一旦実家に戻る。 NLPに強化学習を適用したDeepMind社の論文を読む。 https://arxiv.org/abs/1611.09100 ICPR21017で発表されたもので、以下の特徴がある。 ・文法の知識が必要とせず、文章の構造はTree型LSTM…

テニス2時間 英語30分 Lesson 15 pythonで文章を読むプログラムを作成する。コメントの漢字でもエラーがでる。pythonの先頭に下記のコメントを入れると解決した。# -*- coding: utf-8 -*-LexRankの実装はこれからである。 NLPのQAシステムの論文を読む。 [15…

テニス２時間 英語30分 テニスも英語も集中力が維持できなくなっている事が分かった。テニスは３ゲーム、英語は30分の壁がある。 大学のPBL計画書で課題欄に目標を記述する。 「AI技術の最前線をキャッチアップしつつ、ロボテックスとしての自動運転モデルの…