医療系の複合現実(MR)の技術サーベイ論文を読む

ランニング30分 英語:Toeic

(1) 医療系の複合現実(MR)の技術サーベイ論文を読む

「Recent Developments and Future Challenges in Medical Mixed Reality」

https://arxiv.org/abs/1708.01225

AI会社の社長からこれは凄いという複合現実の論文を紹介された。面白いことにAIの事は期待するとあるだけで、具体的な記述は全くない。生命が掛かっている医療系では未だに理論根拠がない深層学習の汎化性能など信じていないことがわかる。一方ベイズ統計の自動運転技術のSLAM(地図・自己位置同時推定)はかなり有望視されており、理論が明快な確率モデルは積極的に導入しょうとする姿勢がある。

複合技術(MR:Mixed Reality)はAR(付加現実)とVR(仮想現実)の融合したものである。ARは現実の画像に様々な情報を付加して見せるものである。即ちMRは現実的な対象に対して付加情報と仮想画像融合してみせるものである。

この分野ではマイクロソフトのHololensが先駆けており下図はその動画例

f:id:mabonki0725:20170822052049p:plain

Microsoft HoloLens: University College London Improves Insights for Surgeons - YouTube

(1.1) 論文の趣旨

医療系MRの直近20年間の1403件の記事や論文をLDAで10分類し、その分類毎に現状(直近5年)のMRの技術を紹介している。(左図は分類 右図は分類のトレンド)

f:id:mabonki0725:20170821221949p:plain

(1.2) MRの現状

MRのデータはMRI(磁気共鳴画像)やCT画像あるはx線画像で見えない箇所のデータを取得し、それを現実の画像と合成している。

f:id:mabonki0725:20170821211251p:plain

・施術(Treatment)

 MRでは直接可視ができない血管組織の画像を人間の腕に映して注射や手術を支援することができる。この場合、表層の歪みを補正する必要がありまだ課題が多い。特に脳内神経の観察では切迫した需要がある。

f:id:mabonki0725:20170821222713p:plain

・訓練(Training)

 仮想の人体と手術する実際の腕を同時に映し訓練を行う。この場合も人が人体に触れる反応が感じられる様にするには課題がある。

f:id:mabonki0725:20170821223112p:plain

・表示機能(Display)

 表示機能としては、HMD(頭部装着装置)と一般的な空間での照射表示がある。

f:id:mabonki0725:20170822052809p:plain

下図は映画プロメテイウスでの一般空間での照射表示であるが、相当な表現力があることが分る。

f:id:mabonki0725:20170821202007p:plain

 

・外科的手術(Surgery)

 現状では患者の負担を減らす最小切開(MIS)による口腔鏡による外科技術が望まれている。MRはその口腔鏡のデータをVRで視覚化し他の付加情報を融合して表示する。

f:id:mabonki0725:20170821210438p:plain

・位置特定(Registration)

 SLAM(地図と自己位置同時推定)は移動する度に計測されるセンサー情報と移動情報により逐次的に環境認識を精緻化するものである。センサー情報と移動情報には誤差があるが、地図と自己位置は隠れ変数として捉えベイズ統計で最適化して補足している。SLAMは観測データのみで動画にでき仮想を前提しないので、この論文では新たな視認技術として3D-SLAMにかなりの期待を寄せている。左図はカメラの移動した楕円経路を示し、右図はSLAMによって位置(マーカー)が特定された画像になっている。

f:id:mabonki0725:20170821222834p:plain

(1.3) 評価

 この論文にある様に医療機器では、切迫した患者の状態をReal-Timeで診る必要と要求される認識精度(1mm以下)がトレードオフの関係にあり、未だに課題が多い。しかしMRは見えない場所の可視化(VR)と付加情報(AR)の融合で新たな画像認識を築くものである。

映画プロメテイウスではMR画像がCG合成で随所に使われており、新しい認識技術として現実化に向かって推進されると考えられる。