自然言語解析

第3回言語とロボテックスの持橋先生の講演を聴く

ランニングできず 英語できず (1) 第3回言語とロボテックスの持橋先生の講演を聴く (2017/10/7) 第三回 Language & Robotics 研究会 (LangRobo) の開催 - 記号創発システム論調査研究会 持橋先生の講演はCCG(combinatory Categorial Grammer)による構文解析…

文体のパターンの繰返しで深層学習する論文を読む

ランニングできず 英語できず (1) 文体のパターンの繰返しで深層学習する論文を読む 「Dynamic Evaluation of Neural Sequence Models」 https://arxiv.org/abs/1709.07432 一般に自然言語の深層学習では単語間の繋がりをLSTMで学習することが殆どですが、近…

CNN最適化の制御式を生成するRNNの論文を読む

ランニングできず 英語できず (1) CNN最適化の制御式を生成するRNNの論文を読む 「Neural Optimizer Search with Reinforcement Learning」 https://arxiv.org/abs/1709.07417 CNNの最適化の制御式をRNNが強化学習で学習するモデルでかなり画期的なモデルで…

深層強化学習によるChatbotモデルの論文を読む

ランニング30分 英語:movie 2012 (1) 深層強化学習によるChatbotモデルの論文を読む 「A Deep Reinforcement Learning Chatbot」https://arxiv.org/abs/1709.02349 この論文はアマゾンの2017年の人工知能モデル競技会で開発された応答会話モデルMILABOTの詳…

Attentionによる機械翻訳の論文を読む

ランニングできず 英語できず (1) Attentionによる機械翻訳の論文を読む 「Effective Approaches to Attention-based Neural Machine Translation」(2015/09/20) https://arxiv.org/abs/1508.04025 最近の自然言語処理ではAttentionは必ず聞く言葉なので、ど…

RNNで巡回問題を解く論文を読む

ランニング30分 英語できず (1) RNNで巡回問題を解く論文を読む 「Pointer Network」https://arxiv.org/abs/1506.03134 この論文は深層学習による自然言語処理でよく参照されるが、グラフィカルモデルの最適解も行えるので興味を持ち読んでみました。 まず有…

人の名前で国籍や民族を分析したの論文を読む

ランニングできず 英語できず (1) 人の名前で国籍や民族を分析したの論文を読む 「Nationality Classification Using Name Embeddings」 https://arxiv.org/abs/1708.07903v1 5700万のe-mailとtwitter分析して名前で国籍や民族が判明するか分析した論文です…

Socherの自然文の問合せをSQLに変換する論文を読む

テニス2時間 英語できず (1) Socherの自然言語の問合せをSQLに変換する論文を読む 「Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning」 https://einstein.ai/static/images/layouts/research/seq2sql/seq2sql.…

Bradley-Terryを使ったツイッター分析の論文を読む

ランニング30分 英語:できず 神嶌先生が出てくるツイッター分析の論文を読む 「被フォロー順序に基づくユーザの役割推定方法の提案」(2017) http://db-event.jpn.org/deim2017/papers/209.pdf 以前書いた人間の感性を利用した強化学習で、2つのゲームビデ…

分散表現した言葉を連結した知識ベース論文を読む

ランニングできず 英語できず (1) 言葉の分散表現と連結グラフの知識データベースの論文を読む。 「Thinking Fast, Thinking Slow! Combining Knowledge Graphs and Vector Spaces」https://arxiv.org/abs/1708.03310 これは言葉をword2vec等でベクトル化し…

DeepMind AIの過去・現在・将来の概観記事を読む

ランニング30分 英語できず 引き続きDeepMindハザビスの「AIと脳神経学の関連」の記事を読む。 「Neuroscience-Inspired AI」 次の様なDeepMindが構想するAIを述べており、既に素晴らしい成果であるDQNやAlpha碁を超えて、さらに実用的で複雑な問題を解決あ…

企業の不芳情報の自然言語解析が始まる

ランニングできず 英語できず (1) 職場で企業の不芳情報の自然言語解析を求められる。今回は不芳情報の言葉の種類と倒産との関係を調べるだけなので所謂Bag Of Wordの頻度分析となる。この様な初歩的な事が分析可能である事が現場では分らなかったらしく長く…

言語の意味を考えてみる

ランニングできず 英語できず TeamAIの掲載記事から感情とロボテックスの論文を読み始める。強化学習は報酬の最適化で行動が決定されるので、報酬量=好悪の感情と考えると当たり前なのだが、言語の意味理解に参考になるかもしれないと、長い論文だが読んで…

一応NLPを概観できる記事に従って論文を漁る

ランニング30分 英語30分 Lesson19 自然言語からプログラム生成をRLとMMLで行うStanfordの論文をTwitterに揚げると、それなりに反応があったがあったが直ぐ収束したのは、この論文が具体的な記述が少ないからと思われる。報酬を何にするかの記述は欲しかった…

言語生成モデルでは敵対的に精緻化する場合が多い

ランニング30分 英語30分 Lesson18 自然言語からプログラムを生成するStandFordの論文を読む。BI-LSTMでEncode-Decodeする枠組みは同じだが、プログラムの最適選択をRL(強化学習)とMML(Max Marginal Likelihood)の両方を使って局所解を避けて生成するもの…

発表して思うことは「論文の細かい所は殆ど覚えていない」こと

ランニングできず 英語できず 職場で64ビットPCが手配が遅れているので、仕方なくsciTeでpythonプログラムで要約文の抜出のLexRankを作成する。Linux上のspyやnotebookの様な統合開発環境では無いがそれなりの開発環境がある。ファイルから文字を読込み句読…

PredNetの論文を読み始める

テニス2時間 英語できず 引き続き、RLとMMLによるプログラム生成の論文をBeamSearchまで読む。 RLとMMLは共通の定式化が可能なのは、GANとIRLが同じという理論の反対の定式化であろう。 TwitterのYutaさんの投稿で有名なPredNetの論文を読んでみる気になる…

筑波自動走行チャレンジの資料で課題を再認識する

ランニングできず 英語 30分 Lesson17 体調がすぐれず午前中寝ていた。 午後大学で研修の打合せ、T君がラズパイマウスを稼動する様にしてくれて助かる。筑波チャレンジをO先生が企画しており、また千葉工大の原祥尭先生のROSによる詳細な資料が見つかり、よ…

GANによる翻訳の論文を評価する

ランニングできず 英語できず 男性一人では入店禁止の横須賀の猫カフェに女房と一緒に行く。久々に猫を触ってストレスを解消したが、女房が我侭を言うので却って疲れた。 昨日に続きGANに よる翻訳の論文を読む。原文と翻訳文を2次元にして、これをCNNに入れ…

GANによる翻訳の論文を読む

テニス2時間 英語30分 Lession 16 連休中の快晴の中で4日もテニスできたのは幸運だった。 中国人達が書いた、GANによる翻訳の論文を途中まで読む。強化学習を使っていて本格的とわかるが、通常のニューロ方式の手法がアドホックでよく理解できない。 Twitt…

Tree LSTMと強化学習の論文を読む

ランニングできず 英語できず 薬が切れたため、一旦実家に戻る。 NLPに強化学習を適用したDeepMind社の論文を読む。 https://arxiv.org/abs/1611.09100 ICPR21017で発表されたもので、以下の特徴がある。 ・文法の知識が必要とせず、文章の構造はTree型LSTM…

NLPでのAttentionの優位性を示したQA論文

テニス2時間 英語30分 Lesson 15 pythonで文章を読むプログラムを作成する。コメントの漢字でもエラーがでる。pythonの先頭に下記のコメントを入れると解決した。# -*- coding: utf-8 -*-LexRankの実装はこれからである。 NLPのQAシステムの論文を読む。 [15…

感情分析に取り組んでみる

テニス2時間 英語 30分 英語の集中力が30分以上続かないのは辛いことだ 「Qiitaの自然言語処理の投稿」を丹念に読む。やはりキャッチアップしていない事柄が多い。意味解析の一方法として、感情分析の手法に注目する。 word2vecで吉川英治本の感情分析をし…

Latexで「IRLとGAN]の資料を作成し始める

ランニングできず 英語できず Kingmaの半教師学習の説明資料を作成しFaceBookにUPする。後はこれを実装するだけだが時間が無い。それにしても美しいモデルを考えるものだ。 https://arxiv.org/abs/1406.5298 連休明けの発表資料「IRLとGAN」についてLatexで…

Captionから画像を生成する論文を読む

ランニングできず 英語できず salakhutdinovの自然言語のcaptionから画像生成する論文を読む。 [1511.02793] Generating Images from Captions with Attention これは、Kingmaの半教師VAEのEncode-DecodeをLSTM-LSTMに変更したもの。 損失関数(9)が殆ど同じ…

BPLが最適組合せベイズモデルと見える

テニススクール80分 英語できず テニススクールでバックハンドはクローズでないと打てないと文句を言ったら、早速この練習ばかりになった。 SegNetは簡単で説得力のあるモデルなので、稼動しようとして悪戦苦闘したが、自分の力では動かすことができなかった…

Concept Learningの深みに嵌る覚悟をする

テニス2時間 英語30分 食べすぎでテニスは全く足が動かず、同じ悪い傾向が出ている。 英語はEnglish New Ageの古い教材を使ってみる。 Concept Learningの文献を一応理解したが、具体的にどの様にベイズモデルを解いているか表記がないのでさっぱり不明であ…

大学院・仕事・ゼミとAI一色となるが、道を失う

ランニング30分 英語10分 英語に集中できない日々が続く。 余りにも記憶が劣化してきたので、忘備のため論文2本について資料を作成する。あと1本が残っており。本日中に作成したい。AI論文の発表会に利用できると助かる。 RaspberryPiでのロボット製作の会…

2年越しのDQNが未だ実装できない

テニススクール80分 英語10分 フォーハンド、バックハンド両方オープンスタンスで打っている事にやっと気がついた。早く教えてくれと思う。 DQNは思えば2年半越しのテーマであるが、最後の学習に凄い時間がかかっていて強化学習の成果が確かめられない。 こ…

DeepLearingの写真キャプション生成の精度に驚く

ランニング30分 英語15分 写真からその内容を表示するDeepLearningのCapiton生成モデルをまる1日実行する。得られた結果は、実に精度よく写真を読み解き言葉で表している。 但し、2番目の写真ではハードルをベンチに、4番目の海岸で寝そべる人はサーフィ…