自然言語解析

企業の不芳情報の自然言語解析が始まる

ランニングできず 英語できず (1) 職場で企業の不芳情報の自然言語解析を求められる。今回は不芳情報の言葉の種類と倒産との関係を調べるだけなので所謂Bag Of Wordの頻度分析となる。この様な初歩的な事が分析可能である事が現場では分らなかったらしく長く…

言語の意味を考えてみる

ランニングできず 英語できず TeamAIの掲載記事から感情とロボテックスの論文を読み始める。強化学習は報酬の最適化で行動が決定されるので、報酬量=好悪の感情と考えると当たり前なのだが、言語の意味理解に参考になるかもしれないと、長い論文だが読んで…

一応NLPを概観できる記事に従って論文を漁る

ランニング30分 英語30分 Lesson19 自然言語からプログラム生成をRLとMMLで行うStanfordの論文をTwitterに揚げると、それなりに反応があったがあったが直ぐ収束したのは、この論文が具体的な記述が少ないからと思われる。報酬を何にするかの記述は欲しかった…

言語生成モデルでは敵対的に精緻化する場合が多い

ランニング30分 英語30分 Lesson18 自然言語からプログラムを生成するStandFordの論文を読む。BI-LSTMでEncode-Decodeする枠組みは同じだが、プログラムの最適選択をRL(強化学習)とMML(Max Marginal Likelihood)の両方を使って局所解を避けて生成するもの…

発表して思うことは「論文の細かい所は殆ど覚えていない」こと

ランニングできず 英語できず 職場で64ビットPCが手配が遅れているので、仕方なくsciTeでpythonプログラムで要約文の抜出のLexRankを作成する。Linux上のspyやnotebookの様な統合開発環境では無いがそれなりの開発環境がある。ファイルから文字を読込み句読…

PredNetの論文を読み始める

テニス2時間 英語できず 引き続き、RLとMMLによるプログラム生成の論文をBeamSearchまで読む。 RLとMMLは共通の定式化が可能なのは、GANとIRLが同じという理論の反対の定式化であろう。 TwitterのYutaさんの投稿で有名なPredNetの論文を読んでみる気になる…

筑波自動走行チャレンジの資料で課題を再認識する

ランニングできず 英語 30分 Lesson17 体調がすぐれず午前中寝ていた。 午後大学で研修の打合せ、T君がラズパイマウスを稼動する様にしてくれて助かる。筑波チャレンジをO先生が企画しており、また千葉工大の原祥尭先生のROSによる詳細な資料が見つかり、よ…

GANによる翻訳の論文を評価する

ランニングできず 英語できず 男性一人では入店禁止の横須賀の猫カフェに女房と一緒に行く。久々に猫を触ってストレスを解消したが、女房が我侭を言うので却って疲れた。 昨日に続きGANに よる翻訳の論文を読む。原文と翻訳文を2次元にして、これをCNNに入れ…

GANによる翻訳の論文を読む

テニス2時間 英語30分 Lession 16 連休中の快晴の中で4日もテニスできたのは幸運だった。 中国人達が書いた、GANによる翻訳の論文を途中まで読む。強化学習を使っていて本格的とわかるが、通常のニューロ方式の手法がアドホックでよく理解できない。 Twitt…

Tree LSTMと強化学習の論文を読む

ランニングできず 英語できず 薬が切れたため、一旦実家に戻る。 NLPに強化学習を適用したDeepMind社の論文を読む。 https://arxiv.org/abs/1611.09100 ICPR21017で発表されたもので、以下の特徴がある。 ・文法の知識が必要とせず、文章の構造はTree型LSTM…

NLPでのAttentionの優位性を示したQA論文

テニス2時間 英語30分 Lesson 15 pythonで文章を読むプログラムを作成する。コメントの漢字でもエラーがでる。pythonの先頭に下記のコメントを入れると解決した。# -*- coding: utf-8 -*-LexRankの実装はこれからである。 NLPのQAシステムの論文を読む。 [15…

感情分析に取り組んでみる

テニス2時間 英語 30分 英語の集中力が30分以上続かないのは辛いことだ 「Qiitaの自然言語処理の投稿」を丹念に読む。やはりキャッチアップしていない事柄が多い。意味解析の一方法として、感情分析の手法に注目する。 word2vecで吉川英治本の感情分析をし…

Latexで「IRLとGAN]の資料を作成し始める

ランニングできず 英語できず Kingmaの半教師学習の説明資料を作成しFaceBookにUPする。後はこれを実装するだけだが時間が無い。それにしても美しいモデルを考えるものだ。 https://arxiv.org/abs/1406.5298 連休明けの発表資料「IRLとGAN」についてLatexで…

Captionから画像を生成する論文を読む

ランニングできず 英語できず salakhutdinovの自然言語のcaptionから画像生成する論文を読む。 [1511.02793] Generating Images from Captions with Attention これは、Kingmaの半教師VAEのEncode-DecodeをLSTM-LSTMに変更したもの。 損失関数(9)が殆ど同じ…

BPLが最適組合せベイズモデルと見える

テニススクール80分 英語できず テニススクールでバックハンドはクローズでないと打てないと文句を言ったら、早速この練習ばかりになった。 SegNetは簡単で説得力のあるモデルなので、稼動しようとして悪戦苦闘したが、自分の力では動かすことができなかった…

Concept Learningの深みに嵌る覚悟をする

テニス2時間 英語30分 食べすぎでテニスは全く足が動かず、同じ悪い傾向が出ている。 英語はEnglish New Ageの古い教材を使ってみる。 Concept Learningの文献を一応理解したが、具体的にどの様にベイズモデルを解いているか表記がないのでさっぱり不明であ…

大学院・仕事・ゼミとAI一色となるが、道を失う

ランニング30分 英語10分 英語に集中できない日々が続く。 余りにも記憶が劣化してきたので、忘備のため論文2本について資料を作成する。あと1本が残っており。本日中に作成したい。AI論文の発表会に利用できると助かる。 RaspberryPiでのロボット製作の会…

2年越しのDQNが未だ実装できない

テニススクール80分 英語10分 フォーハンド、バックハンド両方オープンスタンスで打っている事にやっと気がついた。早く教えてくれと思う。 DQNは思えば2年半越しのテーマであるが、最後の学習に凄い時間がかかっていて強化学習の成果が確かめられない。 こ…

DeepLearingの写真キャプション生成の精度に驚く

ランニング30分 英語15分 写真からその内容を表示するDeepLearningのCapiton生成モデルをまる1日実行する。得られた結果は、実に精度よく写真を読み解き言葉で表している。 但し、2番目の写真ではハードルをベンチに、4番目の海岸で寝そべる人はサーフィ…

DeepLearning論文は数式がないので読難い

テニス2時間 英語20分 AI論文サイトのドキュメントに従って、論文を渉猟する。以下に注目する。 プログラムの作成支援 https://arxiv.org/abs/1511.06279 要約抽出 https://arxiv.org/abs/1703.03130 DeepLearning系の論文はベイズ統計と異なって、全く英文…

論文の英語自体が理解できないとは情けない

ランニングできず 英語 30分 画像に対しての質問に答えるモデルの論文を勤務の間に読むが、内容が全く理解できない。 https://arxiv.org/abs/1601.01705 奈良先端大の進藤裕之助教の紹介なのでちゃんとした論文と思うが、英語の文章自体が理解できない事は始…

面白い論文を探す

ランニング30分 英語できず 明後日はプロ集団のT研のゼミの発表だが、少し落ち着いて論文を探す。 やはり面白いのはこのサイト http://arxiv-sanity.com/discussions ここから以下を注目 写真を夜の風景や異なる季節の写真と合成する(美しい写真) https://…

画像の被写体の認識はDLで全てできる

ランニング30分 英語20分 英語聞き取りの成果は殆どない。 T研でのゼミの準備でSkype接続を習う。無料でこんなに簡単に世界中と繋がるのは脅威的だ。あらためてOpenInovationの恩恵の素晴らしさを実感する。 T研も古い先生が多いのでDeepLearningが浸透して…

Concept Learningの概要を読む

ランニングできず 英語20分 英語の理解は天気予報からと聞いたことがあるが、まだ映画とは全く聞き取れない。 Concept-Learningの論文読みに費やす。考え方は、事前分布をデータから事後分布を精緻化く過程(Sleep)とそこから生成過程(Wake)のいわば伝統的…

DeepLearning版の概念学習を読み始める

ランニングできず 英語30分 ゼミの発表資料を作るが、理解していない所は徹底して書けない。やはり難しい論文を相手にしていると実感する。本日からSalakhutdinovの確率プログラミングConcept-learningを読み始める。やはり生成モデルなので来るべきものが発…

NLP学会ではLSTMの成果が注目されている

ランニングできず 英語30分自然言語学会2017(筑波大)に初参加した。学会費と参加費で1万円ぐらい費やし痛い出費である。若い人が多い学会で雰囲気が良い。初参加で不明だがDeepLearningの注目度が高い。画像からTextで内容を生成するポースターがあり1万…