自然言語解析
深層生成モデルを使った強化学習が発表されており、この安定化のためZ-Forcingなるモデルを使っていたので、この論文を読んでみる。 深層ベイズモデルによる長期予測での強化学習の論文を読む - mabonki0725の日記 VAEを発展させ再帰深層学習(LSTM)にも潜在…
本来の異言語間の会話は、最初は同じ物を指して互いの言葉を言い合ったのが始まりで、互いの交流の中で細かいニュアンスまで理解する様になったのは想像に難くない。 今回の翻訳モデルは上記の過程を深層学習でモデル化したものである。従来の翻訳は構文解析…
ランニングできず 英語できず (1) 第3回言語とロボテックスの持橋先生の講演を聴く (2017/10/7) 第三回 Language & Robotics 研究会 (LangRobo) の開催 - 記号創発システム論調査研究会 持橋先生の講演はCCG(combinatory Categorial Grammer)による構文解析…
ランニングできず 英語できず (1) 文体のパターンの繰返しで深層学習する論文を読む 「Dynamic Evaluation of Neural Sequence Models」 https://arxiv.org/abs/1709.07432 一般に自然言語の深層学習では単語間の繋がりをLSTMで学習することが殆どですが、近…
ランニングできず 英語できず (1) CNN最適化の制御式を生成するRNNの論文を読む 「Neural Optimizer Search with Reinforcement Learning」 https://arxiv.org/abs/1709.07417 CNNの最適化の制御式をRNNが強化学習で学習するモデルでかなり画期的なモデルで…
ランニング30分 英語：movie 2012 (1) 深層強化学習によるChatbotモデルの論文を読む 「A Deep Reinforcement Learning Chatbot」https://arxiv.org/abs/1709.02349 この論文はアマゾンの2017年の人工知能モデル競技会で開発された応答会話モデルMILABOTの詳…
ランニングできず 英語できず (1) Attentionによる機械翻訳の論文を読む 「Effective Approaches to Attention-based Neural Machine Translation」(2015/09/20) https://arxiv.org/abs/1508.04025 最近の自然言語処理ではAttentionは必ず聞く言葉なので、ど…
ランニング30分 英語できず (1) RNNで巡回問題を解く論文を読む 「Pointer Network」https://arxiv.org/abs/1506.03134 この論文は深層学習による自然言語処理でよく参照されるが、グラフィカルモデルの最適解も行えるので興味を持ち読んでみました。 まず有…
ランニングできず 英語できず (1) 人の名前で国籍や民族を分析したの論文を読む 「Nationality Classification Using Name Embeddings」 https://arxiv.org/abs/1708.07903v1 5700万のe-mailとtwitter分析して名前で国籍や民族が判明するか分析した論文です…
テニス２時間 英語できず (1) Socherの自然言語の問合せをSQLに変換する論文を読む 「Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning」 https://einstein.ai/static/images/layouts/research/seq2sql/seq2sql.…
ランニング30分 英語：できず 神嶌先生が出てくるツイッター分析の論文を読む 「被フォロー順序に基づくユーザの役割推定方法の提案」(2017) http://db-event.jpn.org/deim2017/papers/209.pdf 以前書いた人間の感性を利用した強化学習で、２つのゲームビデ…
ランニングできず 英語できず (1) 言葉の分散表現と連結グラフの知識データベースの論文を読む。 「Thinking Fast, Thinking Slow! Combining Knowledge Graphs and Vector Spaces」https://arxiv.org/abs/1708.03310 これは言葉をword2vec等でベクトル化し…
ランニング30分 英語できず 引き続きDeepMindハザビスの「AIと脳神経学の関連」の記事を読む。 「Neuroscience-Inspired AI」 次の様なDeepMindが構想するAIを述べており、既に素晴らしい成果であるDQNやAlpha碁を超えて、さらに実用的で複雑な問題を解決あ…
ランニングできず 英語できず (1) 職場で企業の不芳情報の自然言語解析を求められる。今回は不芳情報の言葉の種類と倒産との関係を調べるだけなので所謂Bag Of Wordの頻度分析となる。この様な初歩的な事が分析可能である事が現場では分らなかったらしく長く…
ランニングできず 英語できず TeamAIの掲載記事から感情とロボテックスの論文を読み始める。強化学習は報酬の最適化で行動が決定されるので、報酬量＝好悪の感情と考えると当たり前なのだが、言語の意味理解に参考になるかもしれないと、長い論文だが読んで…
ランニング30分 英語30分 Lesson19 自然言語からプログラム生成をRLとMMLで行うStanfordの論文をTwitterに揚げると、それなりに反応があったがあったが直ぐ収束したのは、この論文が具体的な記述が少ないからと思われる。報酬を何にするかの記述は欲しかった…
ランニング30分 英語30分 Lesson18 自然言語からプログラムを生成するStandFordの論文を読む。BI-LSTMでEncode-Decodeする枠組みは同じだが、プログラムの最適選択をRL（強化学習）とMML（Max Marginal Likelihood)の両方を使って局所解を避けて生成するもの…
ランニングできず 英語できず 職場で64ビットPCが手配が遅れているので、仕方なくsciTeでpythonプログラムで要約文の抜出のLexRankを作成する。Linux上のspyやnotebookの様な統合開発環境では無いがそれなりの開発環境がある。ファイルから文字を読込み句読…
テニス２時間 英語できず 引き続き、RLとMMLによるプログラム生成の論文をBeamSearchまで読む。 RLとMMLは共通の定式化が可能なのは、GANとIRLが同じという理論の反対の定式化であろう。 TwitterのYutaさんの投稿で有名なPredNetの論文を読んでみる気になる…
ランニングできず 英語 30分 Lesson17 体調がすぐれず午前中寝ていた。 午後大学で研修の打合せ、T君がラズパイマウスを稼動する様にしてくれて助かる。筑波チャレンジをO先生が企画しており、また千葉工大の原祥尭先生のROSによる詳細な資料が見つかり、よ…
ランニングできず 英語できず 男性一人では入店禁止の横須賀の猫カフェに女房と一緒に行く。久々に猫を触ってストレスを解消したが、女房が我侭を言うので却って疲れた。 昨日に続きGANに よる翻訳の論文を読む。原文と翻訳文を2次元にして、これをCNNに入れ…
テニス２時間 英語30分 Lession 16 連休中の快晴の中で４日もテニスできたのは幸運だった。 中国人達が書いた、GANによる翻訳の論文を途中まで読む。強化学習を使っていて本格的とわかるが、通常のニューロ方式の手法がアドホックでよく理解できない。 Twitt…
ランニングできず 英語できず 薬が切れたため、一旦実家に戻る。 NLPに強化学習を適用したDeepMind社の論文を読む。 https://arxiv.org/abs/1611.09100 ICPR21017で発表されたもので、以下の特徴がある。 ・文法の知識が必要とせず、文章の構造はTree型LSTM…
テニス2時間 英語30分 Lesson 15 pythonで文章を読むプログラムを作成する。コメントの漢字でもエラーがでる。pythonの先頭に下記のコメントを入れると解決した。# -*- coding: utf-8 -*-LexRankの実装はこれからである。 NLPのQAシステムの論文を読む。 [15…
テニス２時間 英語 30分 英語の集中力が30分以上続かないのは辛いことだ 「Qiitaの自然言語処理の投稿」を丹念に読む。やはりキャッチアップしていない事柄が多い。意味解析の一方法として、感情分析の手法に注目する。 word2vecで吉川英治本の感情分析をし…
ランニングできず 英語できず Kingmaの半教師学習の説明資料を作成しFaceBookにUPする。後はこれを実装するだけだが時間が無い。それにしても美しいモデルを考えるものだ。 https://arxiv.org/abs/1406.5298 連休明けの発表資料「IRLとGAN」についてLatexで…
![はてなブックマーク - Latexで「IRLとGAN]の資料を作成し始める](https://b.hatena.ne.jp/entry/image/https://mabonki0725.hatenablog.com/entry/2017/04/28/075512)
ランニングできず 英語できず salakhutdinovの自然言語のcaptionから画像生成する論文を読む。 [1511.02793] Generating Images from Captions with Attention これは、Kingmaの半教師VAEのEncode-DecodeをLSTM-LSTMに変更したもの。 損失関数(9)が殆ど同じ…
テニススクール80分 英語できず テニススクールでバックハンドはクローズでないと打てないと文句を言ったら、早速この練習ばかりになった。 SegNetは簡単で説得力のあるモデルなので、稼動しようとして悪戦苦闘したが、自分の力では動かすことができなかった…
テニス2時間 英語30分 食べすぎでテニスは全く足が動かず、同じ悪い傾向が出ている。 英語はEnglish New Ageの古い教材を使ってみる。 Concept Learningの文献を一応理解したが、具体的にどの様にベイズモデルを解いているか表記がないのでさっぱり不明であ…
ランニング30分 英語10分 英語に集中できない日々が続く。 余りにも記憶が劣化してきたので、忘備のため論文２本について資料を作成する。あと１本が残っており。本日中に作成したい。AI論文の発表会に利用できると助かる。 RaspberryPiでのロボット製作の会…
