中国人達の深層Treeモデルの論文を読む

ランニングできず　英語できず

(1) 中国人達の深層Treeモデルの論文を読む

　「Deep Forest: Towards an Alternative to Deep Neural Networks」

https://arxiv.org/abs/1702.08835

　これは下図にある様にランダムフォレストを単に多層化したアンサンブル型モデルなので残念ながら理論的な新しさはありません。モデル名称はgcForest(Multi-Graind Cascade Forest)

　ランダムフォレスト自体がアンサンブル型なので深層にする意味が明確でないので構造が似ているDeepLearningと比較しています。　

　新興の中国人達がオリジナルな理論を構築できるまでは時間がかかりそうです。　

　そもそもアンサンブル型の優位性はJ.Friedmanが2000年に理論的に解明しました。

　またFriedmanはアンサンブル・ツリー＋ブースティング＋クロス・バリエーションとして各々の短所を補うモデルを提唱していて、これが現在Xgbootとなっています。 

　DeepLearningは深層過程に於いて逆伝播して各層が独自の役割のフィルターを形成するもので、構造が似ているからと言って比較対象するものでは無いと思います。

　同じアンサンブル型であればXgboostと性能比較すべきと思います。

(1,1) 手法

　このモデルは４個のランダムフォレストの深層モデルとなっていて、識別結果に入力データを再追加して次層に渡して深層化しています。

　（４個の内　2個は完全なランダムフォレスト　他の2個は入力データをランダムに短くしたランダムフォレストです）

　多分このモデルだと過学習の可能性があるので、各層毎にクロス・バリデーションをしています。

　最後にアンサンブルで識別結果を単純平均化しています。ランダムフォレストと同様にモデルの精度が頭打ちになると深層化を停止しています。

(1.2) 結果　

　結構面白いのは、DeepLeanningと対抗して文章の感情分析と画像識別をしていることです。　

　結果はこの記述を信じれば意外に良好です　　　

　　

    顔の認識　　

　　

　音楽の感情分析　

　　

(1.3) 感想　

　アンサンブル型なのでXgboostでも同じ様に文章や画像の分析をしてみたら面白いと考えます。