2017-07-11

xgboostでは欠損が入った文字の扱いが難しい

確率・統計

ランニングできず　英語できず

(1)　やっとPython版のxgboostが実行できた。R版は2,3日で実行できたが、Python版は参照できるサイトが少なく、自分でプログラムを作成する必要があった。悩んだのは以下の点

・xgboostが数値しか受け付けない

・データにコードの場合は、oneHotでダミー変数を作成する必要がある。

　コードに大小関係の意味を持たせないためである。

testpy.hatenablog.com

・文字変数が多数あり、これらを一挙に数値にエンコードにする必要がある

・エンコードにはsklearnのlabelEncoderを使ったが、これが欠損だと変換しない

というわけで、欠損の場合空白に補填してから数値にエンコードした。

from sklearn import proc

trans=proc.labelEncoder

for j in range(data.columns):

if(data.ix[:,j].dtype == 'object') :

data.ix[:,j] = trans.transform(data.ix[:,j].fillna(' '))

2017-07-10

DeepMindのNeural Turing Machineの解説が楽しみ

テニス２時間　英語できず

(1) Programmable Agentを引き続き読む。明示的な特徴量を抽出してRLで解く方式は

一般的であるが、これをプログラムとして一般化する理屈は誤植もあり説明が理解できていない。

(2) 明後日に T研の機械学習ゼミでM先生がDeepMindの「Neural Turing Machine」の解説をするので、この論文に基づきNatureに発表されたDNC（Deep Neural Conputer)を再度読む。幾ら読んでも本当に適切な解が求まるか不思議に思っていたが、M先生によると皆本当の意味がわかっていないとのことである。

2017-07-09

DeepMindのProgramable Agentを読む

AI論文ロボテックス

テニス・ランニング2時間　英語　30分　Bone Idendity

(1) SNSからの情報で、DeepMindの下記論文を読み始める。

https://arxiv.org/abs/1706.06383

DeepMindの3D世界の自然言語理解については、One-Shot学習で敵対的学習や転移学習の一般化や拡張する理解が行われていない。この論文では強化学習でロジックを一般的に生成する事を目指しており、こちらはZero-Shotを使った敵対関係に類似したモデルで構成されている。

　Verifier　⇔　search procedure

2017-07-08

DeepMindが自然言語理解の２難題を解決した

AI論文ロボテックス

ランニングできず　英語30分 The Boune Leagacy

(1) DeepMindの自然言語を理解するUNREALモデルの論文を読み、深い感動を覚える。

　このモデルは自然言語理解に於ける２つの懸案事項を解決している。

　・計算機が言語を教える事を可能にした。

　　言語理解で正解すれば計算機がエージェントに報酬を与えることで、

　　数十万の繰り返し学習を可能にした。従来は人間が計算機に教えるしかなく、

　　試行回数の壁があった。

　・複雑な文章理解では、単純な文章学習を経ていけば可能になることを実証した

f:id:mabonki0725:20170708132436p:plain

　DeepMindの証明したかったことは以上の3点である

　・言語理解を解明するには、人間の環境に似た３要素の模擬環境が必要

　　　・動作できるエージェント

　　　・エージェントが存在する３D環境

　　　・報酬と罰則

　・言語学習には相当な繰り返しが必要

　・複雑理解では適切な学習手順が必要

f:id:mabonki0725:20170707084319p:plain

2017-07-07

DeepMindのUNREALの自然言語理解

AI論文ロボテックス

ランニングできず　英語30分

(1) DeepMind UNREALでの自然言語理解の論文を読む

Grounded Language Learning in a Simulated 3D World | DeepMind

これは迷路ゲームの中に報酬が複数ある。

a)報酬の取り方の順序を自然言語で与える。

b)実際にその順番で報酬を取る操作を行う。

上記を様々な表現で多数回行うと、除々に自然言語を理解し始め、自然言語を与えるだけでその指示に従うことができる。

下の図は「赤の物体を取り緑の物体を取れ」と指示すると実際に動作した画面である

f:id:mabonki0725:20170707084319p:plain

下図は自然言語理解のモデル図で中央のMが実際の動作と自然言語を結び付けて学習する。

f:id:mabonki0725:20170707085001p:plain

2017-07-06

DeepMindのUNREALでの暗黙の特徴量

AI論文ロボテックス

ランニング30分　英語：How the West Won

(1) Deep MindのUNREALを読む。このモデルは迷宮(Labyrinth)Gameを対象としているので、コーナを曲がると別画面になるため、直接に画像から特徴量を抽出するDQNモデルは１部しか使えない。

このモデルでは、様々な暗黙的な特徴量を仮想報酬の計算に使っており、暗黙の特徴量の抽出理論に大きな示唆を与えている。

損失関数はA3Cの損失関数と補助損失関数を合算したものになっている。

${\mathcal{L}_{UNRAEL}(\theta) = \mathcal{L}_{A3C} +\lambda_{VR} \mathcal{L}_{VR}+\lambda_{PC} \sum_c \mathcal{L}_Q^{(c)} + \lambda_{RP} \mathcal{L}_{RP}}$