Extended Reality & Hologramとは?
医学と工学が連携して最新技術を手術に活用することで、より安全な手術ができるようになると考えられます。 このページでは、消化器外科手術支援として、 Extended Reality (XR)(エクステンデッド・リアリティ) & Hologram(ホログラム)による手術支援の新展開について、当院での症例も踏まえて紹介します。
まず、3D画像構築ソフトを使って、 術前・術中検査の画像情報から脈管(みゃっかん)(動脈や静脈、リンパ管のこと)・腫瘍(しゅよう)・予定切除領域などの3D画像を作ります。次に、その画像データを特殊な別のデータに変換して、 Hol-oeyes MD system®(共同研究をしている医療系画像編集会社の特殊なシステム)により臓器模型を作製します(図1)。約10分という短時間で、 1症例当たりのコストも3Dプリントと比べてかなり低いため、さまざまな施設で手軽に導入できます。
この臓器模型は目的に合わせ、 さまざまなHead Mount Display(HMD)(頭部に装着するディスプレー装置)にインストールして使用します。
臓器内に完全に入り込み、 まるで臓器内を散歩する感覚で体の解剖構造を把握する場合は、Meta Quest 2®という機器を用います。術中画像支援に使う場合はHoloLens2®、Magic leap one®を使用しています。HMDを通じて見える臓器模型を、「Hologram」と呼んでいます。
肝・胆道手術の 術中XR支援について
肝臓手術
HMDとしてHoloLe-ns2®を装着しますが、手術の始めから終わりまで装着するのではなく、必要なタイミングで装着します。
手術室にはWi-Fi環境が整っているので、 HoloLens2®を装着した手術参加者は、共有機能で共通のHologr-amを見ることができます。同じHo-logramをそれぞれの角度からアプローチできるため、実際の手術と同じイメージで解剖の確認ができるメリットがあります。
例えば、20個以上の多発肝腫瘍(たはつかんしゅよう)の位置確認は頭の中ではイメージできますが、肝臓を切除する直前にHologramを全員で共有することで、取り残すことなく肝切除ができます(図2)。
また、普通とは異なる位置に脈管が存在する患者さんの場合、操作直前に仮想空間上で切除する血管の厚みや手術器具を入れる角度などを仮定して最終確認を行います(図3)。つまり、肝臓手術におけるXR支援は、決してナビゲーション手術ではなく、手術各工程での直前シミュレーションとして腫瘍の位置や脈管の解剖構造を最終的に確認するために役立ちます。
胆道手術
胆管の手術には、どこの施設でも術中胆道造影(じゅつちゅうたんどうぞうえい)を行っていますが、消化器・移植外科では3Dの胆道造影を行い、その場でHologramを作製しています。術前画像では得られない奥行きのある胆管の様子が観察でき、さらに手術で切るべき胆管をリアルタイムに空間認識できるため、ナビゲーションの手段として応用しています。
また、メタバース空間内で“バーチャルセッション”という機能を利用することで、複数のアバター1が参加可能であり、遠隔手術支援にも応用しています(図4)。
ハイブリッド直腸がん手術術中XR支援について
術前MRI画像の抽出を行う場合は、筋肉・前立腺・神経などが、CTと比べてはっきりと映し出せます。消化器・移植外科では、直腸がん手術で、お腹(なか)の中から操作するロボット支援下直腸手術とおしり側からも操作する経肛門的直腸間膜切除術(けいこうもんてきちょくちょうかん まくせつじょじゅつ)を掛け合わせたハイブリッド手術を行っています。
特におしりからの操作は、お腹からと全く異なる景色であり、適切な切離(せつり)ライン(切除する範囲)の確認に加え、MRIで描出した尿道・前立腺、筋肉などの位置関係を、術中Hologramの確認によって立体的に把握できます。
さらに、骨盤内にある側方リンパ節という部分の操作には、より複雑な脈管や神経解剖構造を知ることが必要であり、おしり側からの景色をHologramで見られます。直腸手術でも、肝臓手術と同じく、手術各工程での直前シミュレーションとして利用しており、頭の中にあるイメージを最終確認するために応用しています(図5)。
- アバター/仮想空間で用いられる自分(ユーザー)の分身となるキャラクター ↩︎