高精細裸眼立体視ディスプレイの医歯学教育への応用～Unityを用いたアプリ開発とその効果～
1.6K Views
September 19, 23
スライド概要
2023/7/10に開催されたUnity産業DXカンファレンスの講演動画です。
講師：板宮 朋基（神奈川歯科大学）
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
（ダウンロード不可）
関連スライド
各ページのテキスト
Unity 産業DXカンファレンス講演 2023年7⽉10⽇ ⾼精細裸眼⽴体視ディスプレイの 医⻭学教育への応⽤ 〜Unityを⽤いたアプリ開発とその効果〜 板宮朋基 神奈川⻭科⼤学⻭学部 総合⻭学教育学講座 神奈川⻭科⼤学⼤学院 XR研究所 [email protected] https://ita-lab.jp
本⽇の流れ •XRの実⽤例と課題 –VR –AR •裸眼⽴体視の実⽤例 –評価 •今後の展望
Virtual Reality ⼈⼯現実感
Oculus Quest⽤ビューワー Oculus Quest用医用3Dモデル操作閲覧アプリ 開発：板宮朋基
VR180実写⽴体映像による教育研修会 専⾨医による縫合⼿技の実施例 撮影・アプリ制作︓板宮朋基
Augmented Reality 拡張現実
HoloLensの⼿術における活⽤ by courtesy of Dr. Iwai & Dr.Sugiyama at Yokohama City University Hospital
ARによる⼿術⽀援 by courtesy of Dr. Kida at National Nagoya Medical Center
ARによる⼿術⽀援 by courtesy of Dr. Kitajima & Dr.Ohya, Dr. Iwai at Yokohama City University Hospital
AR解剖学修アプリ AR Anatomy 開発：板宮朋基
神奈川⻭科⼤学⻭学部1年⽣が体験している様⼦
神奈川⻭科⼤学⻭学部５年⽣が体験している様⼦
VR HMDの利⽤の課題 • • • • • 眼の疲労、VR酔い 頭部の締め付けと重さによる不快感 顔の接触部分の⽪膚炎誘発 眼間距離の設定が必要 マスク装着時のレンズの曇り ・Wang, Y.; Zhai, G.; Chen. S.; Min, X. Assessment of eye fatigue caused by head-mounted displays using eye-tracking. Biomed Eng Online. 2019, 18(1):111. ・Hirota, M.; Kanda, H.; Endo, T.; Miyoshi, T. Comparison of visual fatigue caused by head-mounted display for virtual reality and two-dimensional display using objective and subjective evaluation. Ergonomics. 2019, 62(6):759-766. ・Chang, E.; Kim, H.; Yoo, B. Virtual Reality Sickness: A Review of Causes and Measurements. International Journal of Human Computer Interaction. 2020, Volume 36, Issue 17: 1658-1682.
AR スマートグラス利⽤における課題 • 85cmより近い位置に配置した3Dモデルは真に⽴体 的に⾒えていない – 近い位置に配置したモデルのサイズが実は歪んでいる （横⽅向に少し⻑い） • 装着者ごとに眼間距離(IPD)の設定が必須 →運⽤上⼿間 • ⻑時間装着は困難 →締め付け感、本体の熱さ • 衛⽣上の問題点 Itamiya T, To M, Oguchi T, Fuchida S, Matsuo M, Hasegawa I, Kawana H, Kimoto K. A Novel Anatomy Education Method Using a Spatial Reality Display Capable of Stereoscopic Imaging with the Naked Eye. Applied Sciences. 2021; 11(16):7323.
Spatial Reality 空間リアリティ
裸眼で⽴体視が可能な空間再現ディスプレイ • • • • • ソニーが2020年10⽉に発売（55万円→44万円） ⾁眼で（裸眼で）3Dモデルの⽴体視が可能 HMDやスマートグラスの装着が不要 30cm程度の近接位置でも⽴体感が得られる 3Dモデルの表⽰サイズが精確
裸眼⽴体視が可能な空間再現ディスプレイ • • • • • • 同時に⼀名のみ⾁眼⽴体視が可能 体験者の顔の位置を⾼速度に認識 レンチキュラーレンズを利⽤した⽴体視 市販アプリはまだない→⾃分で作る必要 VR/ARアプリ開発者ならアプリ開発可能 医療分野への応⽤は本学が世界初（ソニー調べ） https://www.sony.jp/spatial-reality-display/products/ELF-SR1/
ソニー空間再現ディスプレイのしくみ • レンチキュラーレンズを利⽤した⽴体視＋⾼速⾼精度顔認識 • 裸眼⽴体視対応4K⾼解像度ディスプレイ（15.6インチ） →⾼精細・低クロストークの実⽤的な裸眼⽴体視を実現 https://www.sony.com/en/SonyInfo/technology/stories/LFD/
空間再現ディスプレイ⽤DICOM 3Dビューワー 頭部⽤X線CT装置 3D Accuitomo https://www.morita.com/jmmc/ja/products/ent/diagnostic-and-imaging-equipment-ent/ent-3d-accuitomo-f17-plus/ DICOM⽴体視ビューワー DSRView 開発︓板宮朋基
空間再現ディスプレイ⽤DICOM 3Dビューワー DICOM立体視ビューワー DSRView 開発：板宮朋基 https://www.youtube.com/@ProfTomokiItamiyasLaboratory
空間再現ディスプレイ⽤DICOM 3Dビューワー DICOM立体視ビューワー DSRView 開発：板宮朋基
空間再現ディスプレイ⽤DICOM 3Dビューワー DICOM立体視ビューワー DSRView 開発：板宮朋基
空間再現ディスプレイ⽤3Dモデルビューワー ⼝腔内スキャナー https://www.dental-plaza.com/article/trios3/ STL/OBJ立体視ビューワー SR View 開発：板宮朋基 OBJデータ提供 神奈川歯科大学附属病院
空間再現ディスプレイ⽤3Dモデルビューワー VECTRA Face VECTRA Handy H2 STL/OBJ立体視ビューワー SR View 開発：板宮朋基 OBJデータ提供 株式会社インテグラル https://www.integralcorp.jp/skin/manufacturer/canfied-scientific/
空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ立体視ビューワー SR View 開発：板宮朋基 歯牙マイクロCTデータ提供：神奈川歯科大学 松尾雅斗特任教授
空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ立体視ビューワー SR View 開発：板宮朋基
空間再現ディスプレイ⽤3Dモデルビューワー 任意の３点間の距離・⾓度の計測機能を追加 STL/OBJ立体視ビューワー SR View 開発：板宮朋基、中野亜希人
空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ立体視ビューワー SR View 開発：板宮朋基、中野亜希人
空間再現ディスプレイ⽤解剖学教育アプリ 解剖学教育アプリ SR Anatomy 開発：板宮朋基
空間再現ディスプレイ⽤⽴体映像ビューワー © 2023 Intuitive Surgical © 2023 Olympus Corporation ⼿術⽀援ロボット・ダビンチや オリンパス ORBEYE 等の VR180⽴体映像撮影カメラの 立体映像裸眼立体視表示アプリ SRD Movie Player 開発：神奈川歯科大学 中野亜希人、板宮朋基 協力：ソニー株式会社 映像を裸眼⽴体視化 →⻑時間の快適な視聴が可能
空間再現ディスプレイを⽤いた解剖学教育 ⻭学部1年⽣ 解剖実習支援アプリ AR Anatomy 開発：板宮朋基 協力：神奈川歯科大学歯学部解剖学講座
空間再現ディスプレイ利⽤の感想 ⻭学部１年⽣ 解剖実習支援アプリ AR Anatomy 開発：板宮朋基 協力：神奈川歯科大学歯学部解剖学講座 n=49
空間再現ディスプレイ利⽤の感想 ⻭学部１年⽣ 解剖実習支援アプリ AR Anatomy 開発：板宮朋基 協力：神奈川歯科大学歯学部解剖学講座 n=49
空間再現ディスプレイ利⽤の感想 ⻭学部１年⽣ 解剖実習支援アプリ AR Anatomy 開発：板宮朋基 協力：神奈川歯科大学歯学部解剖学講座 n=49
空間再現ディスプレイを⽤いた解剖学教育 ⻭学部２年⽣全員が体験（実施3年⽬） 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座、慶應義塾⼤学医学部解剖学教室
空間再現ディスプレイの教育効果 （2022年度⻭学部2年⽣） 裸眼⽴体視によって、解剖学的⽴体構造は理解できましたか。 16% 0% 52% 32% n=101 ⾮常に良く理解できた よく理解できた 理解できた よく理解できなかった 協力：神奈川歯科大学歯学部解剖学講座 全く理解できなかった
空間再現ディスプレイの教育効果 （2022年度⻭学部2年⽣） 裸眼⽴体視コンテンツは、解剖実習の予習・復習に役に⽴つと思いますか。 4% 0% 0% 26% 70% n=101 ⾮常に役に⽴つと思う 役に⽴つと思う どちらとも⾔えない 役に⽴たないと思う 協力：神奈川歯科大学歯学部解剖学講座 全く役に⽴たないと思う
空間再現ディスプレイの教育効果 （2022年度⻭学部2年⽣） 裸眼⽴体視とゴーグル装着(HMD)の快適度はどうでしたか。 6% 28% 66% n=101 裸眼⽴体視の⽅が快適 ゴーグル装着の⽅が快適 協力：神奈川歯科大学歯学部解剖学講座 どちらも快適ではない
裸眼⽴体視システム 開発中の新しい機能
空間再現ディスプレイにタッチ操作機能を追加 タッチ操作対応SRAnatomy/SR View 開発：板宮朋基
空間再現ディスプレイ⽤⻭科実習シミュレーター 触覚再現対応⻭科実習⽤シミュレーター試作版 開発︓板宮朋基 触覚デバイス提供︓豊⽥合成株式会社
空間再現ディスプレイ⽤⻭科実習シミュレーター ブラッシングシミュレーター試作版 開発︓中野亜希⼈、板宮朋基
空間再現ディスプレイの複数接続による 遠隔実習の実施 1. 裸眼⽴体視で3Dモデル が⽬の前に実在するか のように⾒えます 2. インターネット経由で 教員と学⽣の操作を共 有し記録します 教員 学⽣（⾃宅） 学⽣（⾃宅） アシスタント
空間再現ディスプレイの遠隔操作共有 遠隔実習⽤3Dモデル操作同期アプリ試作版 開発︓中野亜希⼈、板宮朋基
空間再現ディスプレイの遠隔操作共有を ⽤いた遠隔症例検討会の実施 遠隔実習用3Dモデル操作同期アプリ試作版 開発：中野亜希人、板宮朋基 協力：神奈川歯科大学歯学部歯科矯正学講座
今後は裸眼⽴体視が主流に︖ 裸眼⽴体視ディスプレイ内臓ノートパソコン Acer SpatialLabs https://www.acer.com/ac/ja/JP/content/conceptd-spatiallabs-3d-solutions
Acer SpatialLabs⽤ビューワーの利⽤例 協⼒︓神奈川⻭科⼤学附属病院デジタル⻭科診療科 Acer SpatialLabs⽤ STL/OBJ表⽰アプリ開発︓板宮朋基
Acer SpatialLabs⽤ 実写⽴体映像リアルタイム裸眼⽴体視システム Acer SpatialLabs⽤ VR180リアルタイム裸眼⽴体視システム開発︓板宮朋基
裸眼⽴体視ができるタブレットが登場 https://www.leiainc.com/lume-pad-2 https://ztedevices.com/en-gl/nubia-pad-3d/
裸眼⽴体視ができるタブレット
裸眼⽴体視ができるタブレット⽤の ⻭科医学教育アプリの開発 nubia Pad 3D⽤ 医⽤モデル裸眼⽴体視ビューワー 開発︓板宮朋基 https://www.youtube.com/@ProfTomokiItamiyasLaboratory
裸眼⽴体視ができるタブレットで外科⼿技の 撮影と⽴体動画の教材化 協⼒︓神奈川⻭科⼤学⼝腔外科学講座 撮影︓板宮朋基
⽴体動画の裸眼⽴体視を活⽤した 外科⼿技の実習 協⼒︓神奈川⻭科⼤学⼝腔外科学講座 撮影︓板宮朋基
裸眼⽴体視の活⽤︓今後の予定 • OSCE実習における活⽤（⽂科省⽀援事業） – ⼝腔内診査シミュレーター • リアルタイム切削機能の実現 – 触覚機能も追加 – ⽀台⻭形成シミュレーターの実現 • モーションセンサーの活⽤ – ブラッシングシミュレーター – ⽴体視している3Dモデルを素⼿で操作 • 空間再現ディスプレイ新型(27インチ)の活⽤ • 裸眼⽴体視タブレットの活⽤→学⽣ひとり⼀台の実現 • 他⼤学・企業との連携
ソニー空間再現ディスプレイ新型（27インチ） https://www.sony.jp/CorporateCruise/Press/202305/23-0512/
ソニー空間再現ディスプレイ新型 （左側︓27インチ）
ソニー空間再現ディスプレイ新型（27インチ） 裸眼⽴体視ビューワーSR View 開発︓板宮朋基 STLモデル提供︓富⼠フイルムメディカル株式会社
裸眼⽴体視ディスプレイ • • • • ⾁眼で（裸眼で）3Dモデルの⽴体視が可能 ゴーグルや特殊なメガネの装着が不要 学⽣実習・若⼿スタッフの教育に⾮常に有⽤ 今後のハードウェアの更なる進化が期待できる – ⼤型化と⼩型化（タブレット）の⼆⽅向 • XR分野の標準表⽰装置として期待できる
3D体験はゴーグル装着から裸眼⽴体視へ パラダイムシフト
3D体験はゴーグル装着から裸眼⽴体視へ パラダイムシフト ・3D-CG以上に映像の⽴体視 にニーズ有り →アーカイブとリアルタイム ・⽴体視⽤映像コンテンツの 低コストな量産体制の確⽴が キーになる →標準画⾓の⼆眼カメラ