AI論文

Alpha碁がシンギュラリティと思っている人は少ない様だ

ランニングできず 英語できず (1) TwitterにAlpha碁がシンギュラリティだと投稿したが反応なし。計算機が自分で考え出す状態をシンギュラリティと云うが、自分の大学のDeepLearningの先生もそうだが、皆分っていないらしくチャンスとも思える。Alpha碁の構造…

エネルギーベースのGAN論文に取り組む

テニススクール90分 英語できず (1) 最近英語のヒアリングをしていない為か、かなり映画とか聞き取れなくなっている。 (2) Fさんから、自動運転の50万円講習の案内を受け取る。 www.nikkeibp.co.jp この案内にはPDFの技術資料があり参考になった。 1位置測…

敵対的な仕掛けはVAEを元に考えるべき

ランニング30分 英語できず (1)AI論文を読むのは、「巨人の肩に乗る」ことなので相当体力が要ることが分り、若い時代にしておくべきと悔やんでも遅い。T先生から師匠 竹内啓先生の話で論文には3種類あるので注意が必要との話があり、論文を探す場合は緊張す…

脳は敵対的な反復で一般化していると想定

テニス2時間 英語できず (1) Socherの文章要約論文を読む。これは長い文章を要約するもので、英語の記事では「タイトル」と「本文」の構成なので、タイトルを正解とし、本文を入力とするEncoder-Decorder型の教師付モデルである。文章をBI-LSTMのAttention…

盛り沢山の成果があったがSocher論文が読めず

ランニングできず 英語できず (1) 確率ロボッテックスのSLAM9~13章の輪読終了。殆ど理解できず9章から再読中。その理解のため上田先生のSLAMをダウンロードしたがIpythonコードのため、Ipythonインストールするが失敗 https://github.com/ryuichiueda/probr…

Distance Supervision論文を読む

ランニング30分 英語30分Lesson31 (1) Distance supervision for relation extractionを読む http://web.stanford.edu/~jurafsky/mintz.pdf これは言葉間の関係知識ベースFreebaseを使って、ラベル付の文章の特徴量を生成し、ラベルと特徴量から回帰して分類…

明示的知識ベースによるNLP分析の論文を読む

ランニングできず 英語できず (1)知識ベースを使うNLPのサーベイ論文の纏めを行う。 LDAで著名なT先生の意見では、wordNet等の明示的な知識ベースを使ったNLP分析は効果が出ないとの指摘であったが、今回の論文を読み、明示的知識ベースを使うと精度が高めら…

機械学習での概念知識ベースのまとめ

(1)Machine Learning with Wold Knowledge:The Position and Survey のまとめ Survey(調査)なる論文を初めて読んだが、課題図書の一覧リストを読む思いをした。 https://arxiv.org/abs/1705.02908 1 Introduction NLPでの知識ベースの役割として、以下の2…

NIPS常連レベルの学識との壁を感じる

ランニングできず 英語できず (1)T研で日本語機械学習ゼミに参加 K君のSteinオペレータによる関数近似の論文の解説。流石にNIPS常連のK君レベルになると殆ど理解できず。改めて数理統計のプロの凄さを体感する。 http://www.cs.dartmouth.edu/~qliu/PDF/stei…

NLPの知識ベースの論文をやっと読むが再度熟読が必要となる

ランニングできず 英語30分 Lesson33 (1) やっとMachine Learning with world Knowlegを読む。5/8日に投稿されたNLPの知識表現を網羅的に扱った論文で、冒頭の2点の問題設定に引き込まれたが、 ・知識表現の特徴量抽出の技術 ・文章要約の技術 基本的には参…

アルファ碁の勝因はGANモデルであること

テニス2時間 英語30分 Lesson33 (1) やはりAlpha碁の完勝は、強化学習での敵対的モデル(Adversarial Model)の有効性を証明したと思う。碁の様に天文学的な組合せでの最適化を可能にしたのは、対戦もAlpha碁とした事である。ロボッテクスの性能は、特徴量の…

研究者は年間500本の論文を読めとの話

ランニング30分 英語できず (1) DeepLearningの中山英樹研究室のTwitterでは、研究者は年間500本論文を読めとの話であった、AI論文が月間2000本出ているので実に少ない気がする。自分の生活としては毎日1本は読む必要を感じる。 (2)機械学習に概念を導入す…

グラフィカルな概念知識の章を読む

ランニングできず 英語30分 Lesson30 (1) 引き続き「Machine Learning with Wold Knowlege」を読む。4章のExplicit Sematic Analysisの理屈がわかりにくい。この手のSurvey論文では古典的な手法の紹介がメインなので数式の定義が曖昧で苦労する。単語毎の概…

ラズパイマウスのwifi接続できた

ランニングできず 英語できず (1) 機械学習で概念を学ぶ論文を引続き読む。 ようやく概念をモデルとして取り入れる§4に入いる。この本のレベルでは言葉とWikipediaのページ(概念)との共起確率TF-IDFを特徴量として定義している。 [1705.02908] Machine Learn…

機械学習で常識を獲得する論文を読む

テニススクール90分 英語15分 Lesson28 Socherの論文で意味理解の精度を上げるなら、一般知識を組込む方がよいとあったので、20170508投稿の「Machine Learning with World Knowlege」を読み始める。機械学習の半教師学習による一部の知識から未知な知識の獲…

SLAMを全てが曖昧な環境での自己位置推定と理解する

ランニングできず 英語30分 Lesson 28 (1)ロボット学会に千葉工大の上田先生が登壇すると聞き、急遽参加する。 http://www.rsj.or.jp/seminar/s105/第105回 ロボットに使えるビジョン技術 上田先生の話は、本当に自分の為だけにあったのではないかというSLAM…

Socherの本格的な意味解析の論文

ランニングできず 英語できず 終日Socherの論文読み。意味解析を本格的に取組んだ古典的名論文である。 https://nlp.stanford.edu/pubs/SocherHuvalManningNg_EMNLP2012.pdf 言葉を配列Lと行列Lmのペアとしてとらえ、2分岐パーサで言葉間の関係を配列の重み…

Socherの意味理解の論文を読む

テニス2時間 英語30分 Lesson25 (1) Socherの論文:文章意味理解で語句をベクトルと行列で定義して、その統合を重みをニューロで実現するモデルが難解で理解できない。古典に入る論文なので是非理解したいと焦る。注目すべきは、知識ベースを反映するモデル…

論文読み会の内容が自分の関連の延長だった

ランニングできず 英語できず (1) 月1回開催されるNextrema社のAI論文読会に参加して、自分もIRSとGANの関係の論文の説明する。 Irs gan doc 斉藤さんはDeepMind社のレア(Pdeudo Count)な局面選択に報酬を与える論文とゲーム場面の価値を密度表現したグラフ…

感情を強化学習(RL)でモデル化する論文を読む

ランニング30分 英語30分 Lesson24 (1) 感情とロボテックスの論文を読む。 [1705.05172] Emotion in Reinforcement Learning Agents and Robots: A Survey 強化学習の「報酬と局面」認識を内部環境として下図のAとBの様にとらえ、選択の幅を拡張しようとする…

言語の意味を考えてみる

ランニングできず 英語できず TeamAIの掲載記事から感情とロボテックスの論文を読み始める。強化学習は報酬の最適化で行動が決定されるので、報酬量=好悪の感情と考えると当たり前なのだが、言語の意味理解に参考になるかもしれないと、長い論文だが読んで…

CNN-SLAM論文読みとROSの復習

テニススクール90分 英語30分 Lesson23 昨日にのOSインストールに続きラズパイ3スにROSインストールする。ラズパイとで無線で通信するのでWifi接続を試みるが、ルータ経由の無線環境が自宅にないので作業が中断する。ルータの無線カードが中古で5000円もす…

wxPythonでAIツールを再作成することにする。

ランニングできず 英語できず CNN-SLAMの論文を引き続き読む。ROSのマニュアルで単眼カメラでどの様にSLAMを実現しているか議論したことがあるが、これを使っていると判明。これにCNNで3Dの画像認識を訓練させている。領域認識はReal-SLAMで行っていている…

3D領域認識のCNN-SLAMの論文を読む

テニス2時間 英語30分 Lesson 21 家の沖合いでウンドサーフィン国際大会をやっていたので写真を撮る。 TwitterでCNN-SLAMの動画「3Dの領域認識」見て論文をダウンロードする。これはDLのCNNと位置認識SLAMとの統合モデルである。 [1704.03489] CNN-SLAM: R…

IRLとGANが同じという論文の資料を作成する

ランニング30分 英語30分 Lesson 20 明日のAI論文読み会の資料を作成する。資料を作成していつも思うことは、論文の理解が不十分で改めて発見があるということ。体力的には厳しいが、論文の資料作成は大事と感ずる様になった。GANの限界もIRLの難しさも改め…

一応NLPを概観できる記事に従って論文を漁る

ランニング30分 英語30分 Lesson19 自然言語からプログラム生成をRLとMMLで行うStanfordの論文をTwitterに揚げると、それなりに反応があったがあったが直ぐ収束したのは、この論文が具体的な記述が少ないからと思われる。報酬を何にするかの記述は欲しかった…

言語生成モデルでは敵対的に精緻化する場合が多い

ランニング30分 英語30分 Lesson18 自然言語からプログラムを生成するStandFordの論文を読む。BI-LSTMでEncode-Decodeする枠組みは同じだが、プログラムの最適選択をRL(強化学習)とMML(Max Marginal Likelihood)の両方を使って局所解を避けて生成するもの…

PredNetの論文を読み始める

テニス2時間 英語できず 引き続き、RLとMMLによるプログラム生成の論文をBeamSearchまで読む。 RLとMMLは共通の定式化が可能なのは、GANとIRLが同じという理論の反対の定式化であろう。 TwitterのYutaさんの投稿で有名なPredNetの論文を読んでみる気になる…

GANによる翻訳の論文を評価する

ランニングできず 英語できず 男性一人では入店禁止の横須賀の猫カフェに女房と一緒に行く。久々に猫を触ってストレスを解消したが、女房が我侭を言うので却って疲れた。 昨日に続きGANに よる翻訳の論文を読む。原文と翻訳文を2次元にして、これをCNNに入れ…

sciTeエディターの引数設定で躓く

テニス2時間 英語30分 テニスも英語も集中力が維持できなくなっている事が分かった。テニスは3ゲーム、英語は30分の壁がある。 大学のPBL計画書で課題欄に目標を記述する。 「AI技術の最前線をキャッチアップしつつ、ロボテックスとしての自動運転モデルの…

ベイズ統計は一般的な認識と言われ驚く

ランニング30分 英語できず 大学でのロボッテク研究で、教材がラズパイマウスによる上田隆一先生の「ラズパイによるROS」の本を読み始じめる。ラズパイマウスは大学が5万円で購入済みで連休中に動かして見たかったが、他の学生に譲った。やはり自分用に購入…

1000件分の画像解析論文に衝撃を受ける

ランニング30分 英語できず 最近英語をしないのは、教材も揃えたし、自分でもよくわからない。やはり成果が見える工夫が必要か。 女房が食べさせてくれないので、隠れて餃子の安売りで8人前を食べて苦しい。4人前が限界と知る。 もう少し修正が必要だが、や…

Latexで半教師学習VAEの纏め資料を作成する

ランニングできず 英語できず T研の機械学習ゼミに参加 T君のStudent T 過程の話 https://arxiv.org/abs/1402.4306 Gausian過程より、StudentT過程の方が裾野がロバストで解析的に解けるという話。諸先生方は理解できている様だが、最初の定義から全く理解で…

逆強化学習がMRFと同じという理解の誤りに気付く

ランニングできず 英語できず 逆強化学習とGANが同じという論文を5月13日の論文読み会に発表するため資料をLatexで作成し始める。 https://arxiv.org/abs/1611.03852 しかし、非常に長い時間でもLatexの記述が進まないので、この資料で解説したかったエネル…

Captionから画像を生成する論文を読む

ランニングできず 英語できず salakhutdinovの自然言語のcaptionから画像生成する論文を読む。 [1511.02793] Generating Images from Captions with Attention これは、Kingmaの半教師VAEのEncode-DecodeをLSTM-LSTMに変更したもの。 損失関数(9)が殆ど同じ…

宿題の半教師学習のVAEが理解できた

ランニング30分 英語30分 AI論文の発表資料を作成しようとしたが、津久井浜では回線が細いためLatexがインストールできないため断念。方策を考えるべき。 T研のM先生の宿題の半教師学習のVAEの論文を再挑戦する。 [1406.5298] Semi-Supervised Learning with…

RaspberryPI Mouse V2の購入を決定

ランニングできず 英語できず AM 確率ロボテックス(上田隆一訳)のゼミ12章終了 SLAMの基礎アルゴリズムであったが、11章の最初を学校の試験で出席できなかったので、独学ではさっぱり理解できない。多分この本の一番難しいところであろう。上田先生がこの…

BPLはMCMC等で事後分布を推定するモデル

ランニング30分 英語30分 オッズ比一致による年間発生率の資料をLaTexで作成する。慣れるといい資料が作れそうだと思うが、対数オッズの差で均衡をとる所が証明できていない。 大学の図書館でやっとBPL(Bayesian Program Learning)のSupplymentを読むが、や…

サンプリングによるプログラム生成の論文を読む

ランニングできず 英語できず 仕事で年間発生率の算出理論を明らかにできたのはよかった。統計の分野では全て非線形なのに、オッズ比一致による線形調整はいつも疑問に思っていた。オッズ比に対数を懸けて線形性にしている事が判明した。 BPL(Bayesian Progr…

BPLが最適組合せベイズモデルと見える

テニススクール80分 英語できず テニススクールでバックハンドはクローズでないと打てないと文句を言ったら、早速この練習ばかりになった。 SegNetは簡単で説得力のあるモデルなので、稼動しようとして悪戦苦闘したが、自分の力では動かすことができなかった…

SegNetのモデルは簡単だがエラーが出て動かず

ランニング30分 英語できず(English New Ageの取込終了) Amebaブログの広告が多すぎるので、Hatenaブログに移動した。過去分も移動しようとしたがプロテクトが懸かっているのか出来ず、2ヶ月分は手動で移動した。こんな安易なシステムで課金しようとするビ…

画像ゼグメント認識の論文がリストに追加になる

ランニングできず 英語できず 最も尊敬する銅谷賢治先生からSNSの承認をもらいConceptLearningを勉強中と返信する。この論文にSupplementがあり読み始めるがやはり進捗が遅い。 http://web.mit.edu/cocosci/Papers/Science-2015-Lake-1332-8.pdf 会社でオッ…

Concept Learningの深みに嵌る覚悟をする

テニス2時間 英語30分 食べすぎでテニスは全く足が動かず、同じ悪い傾向が出ている。 英語はEnglish New Ageの古い教材を使ってみる。 Concept Learningの文献を一応理解したが、具体的にどの様にベイズモデルを解いているか表記がないのでさっぱり不明であ…

論文を読む限り統計的な裏付けが欲しい

ランニング30分 英語できず SulakhutdinovのConcept Learingの資料を作成するため再読する。最近記憶力が劣化して読んだ論文を忘れてしまうからだ。再読すると難読で読めない。読解力の劣化にもショックを受ける。本日中には資料を作成してしまいたい。 http…

大学院・仕事・ゼミとAI一色となるが、道を失う

ランニング30分 英語10分 英語に集中できない日々が続く。 余りにも記憶が劣化してきたので、忘備のため論文2本について資料を作成する。あと1本が残っており。本日中に作成したい。AI論文の発表会に利用できると助かる。 RaspberryPiでのロボット製作の会…

グラフ+RNNの論文を読む

ランニングできず 英語20分 英語の集中力が15分しか維持できない。 LatexのコードをノートPCに入れると文字化けしてPDFに変換できない。仕方がないのでノートPCで初めから操作する。 Maxmum Entropy IRLの論文を再度読むが、やっと記憶を絞りだしてMRFの微分…

Latexでスライドを作り始める

テニス1時間 英語できず テニスは乱打15分もすると、息が上がって続かない。 Lataxでスライド用のサイトを見つけ、皆が発表しているのはこれに基づいていると知る。 http://xaro.hatenablog.jp/entry/2013/09/18/020615 論文読み会向けに説明資料を作り始め…

AI論文は月間1800件の投稿がある

ランニングできず 英語15分 選択したAI論文が溜まってきたので、ひたらすAI論文を読む。 下記の岡野原さんのTwitterでは月に1800件も論文が出るそうだ。2年前に比して4倍とのこと。多くの天才の参入と多くの発見発明が今現在行われている事を示している。 …

読めていない論文が集積し始める

ランニング30分 英語20分 渡辺有祐さんのQA論文は誤植もあり渡米したばかりで多く望めないんだろう。グラフィカルモデルとDLの統合モデル論文に移る。 https://arxiv.org/abs/1611.07012 また時間がかかりそうで悲観する。 大学で確率ロボテックスの話をする…

この大学院も統計的な土壌が殆どない

ランニング30分 英語できず 良いOnline英語教材が無いのには困っている。ニーズが多い所はFreeの教材が少ない 明日の教材用に粒子フィルターによる自動運転の資料を作る。せめて大学では確率的な発想ができる様にせねばと思い資料を作成した。よく考えてみる…