OpenPoseのPAFモデル

ランニング30分 英語30分   Ian Goodfellowのインタビュー

Ep. 25: Google's Ian Goodfellow on How an Argument in a Bar Led to Generative Adversarial Networks by The AI Podcast | Free Listening on SoundCloud

(1)  OpenPose論文の身体構造解析の理解

 身体の点をCNNで摘出した後に、点間を結合するモデルPAF(Partial Affinity Field)の理解をする。手足が2点で構成される場合の点間結合は整数計画法(ハンガリアン法)を使って(分離)解いている。

f:id:mabonki0725:20170625100728p:plain

 問題は2点以上の場合(例えば腕は3点で構成)は整数計画法で解けないので、以下の緩和解で解いている。

 ・点間結合は最短になる様に結合しているとする。(c)

 ・N点間は複数の2点間で分離する(d)

 ・2点間の整数計画法で解く  (e)

f:id:mabonki0725:20170626084733p:plain

この様な方法で以下の複雑な姿勢を解くことができる。

f:id:mabonki0725:20170626082336p:plain