ビデオパススルーを活用したデジタルミュージアムのご紹介

4K Views

May 16, 24

#holoconf24 #デジタルミュージアム #Meta Quest 3 #ビデオパススルー #MR #Unity

スライド概要

2024/4/18に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら
https://www.youtube.com/playlist?list=PLcIuMEVR3eYegP17SKG_UPgERmmGStEr_

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

ホロラボ

@HoloLab

スライド一覧

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.35MB)

関連スライド

3DモデルとPower BIの悪魔合体「建物みえるくん」をつくってみた！

holoconf23 bim

ホロラボ 34.6K

トヨタのxR活用事例ご紹介～ホロラボとの開発秘話を中心に (ホロラボカンファレンス 2022 トヨタ自動車株式会社栢野様発表スライド)

hololens mixed reality holoconf22

ホロラボ 32.1K

BIMから3次元モデルを消してみたら、意外に便利でした

holoconf23 bim

ホロラボ 30K

3DGS･フォトグラメトリ比較と最新事例

ホロテク24

ホロラボ 19.7K

三菱重工業との取り組み事例　～HoloLensなどを活用した現場向けコミュニケーションツールの開発～

holoconf22 hololens mixed reality

ホロラボ 18.3K

⽵中⼯務店の“建設DX”と “open BIM”と“xR” (ホロラボカンファレンス 2022 株式会社竹中工務店橋口様、川上様発表スライド)

hololens mixed reality holoconf22

ホロラボ 13.6K

各ページのテキスト

ビデオパススルーを活用したデジタルミュージアムのご紹介 Playful Fields すまのべ！田野哲也

ビデオパススルーによるMR カメラで取得した現実の映像をリアルタイムに表示することで VRゴーグルを装着している状態でも周囲を見ることができる技術。ＣＧを重ねることでAR/MR表現も可能となる。 CGのキャラ視界をふさぐ VRゴーグル自分の手やコントローラもCG 背景はカメラを通して見る現実引用： https://www.youtube.com/watch?v=MkLM8wtjrhE Copyright© HoloLab Inc. All rights reserved 4

https://www.youtube.com/watch?v=MkLM8wtjrhE

デジタルミュージアムデジタルミュージアム【digital museum】出典：デジタル大辞典（小学館）絵画や彫刻などの芸術作品や、歴史、民族などのさまざまな資料をデジタルデータに変換して保管し、電子ネットワーク上で閲覧できる美術館や博物館のこと。文化庁でも「ミュージアムDX」としてデジタルアーカイブ化やデジタルミュージアムの推進をしている。引用： https://www.bunka.go.jp/gyoji/pdf/93906901_02.pdf Copyright© HoloLab Inc. All rights reserved 7

https://www.bunka.go.jp/gyoji/pdf/93906901_02.pdf

10.

11.

群馬デジタルミュージアムLAB 2024年2月1日～3月1日群馬県庁昭和庁舎内特設会場 3Dスキャンによってデジタルアーカイブされた骨格標本などを展示。体験者にMeta Quest 3を装着後、オペレーターがコントローラのスタートボタンを押すと、以降は自動的にシナリオが進むため、体験者は最後まで単独で体験可能。 Copyright© HoloLab Inc. All rights reserved 引用： https://www.pref.gunma.jp/page/620893.html 11

https://www.pref.gunma.jp/page/620893.html

12.

13.

14.

15.

16.

岐阜かかみがはら航空宇宙博物館 MRコンテンツ 2024年3月25日～29日/4月1日～5日岐阜かかみがはら航空宇宙博物館館内 ISS(国際宇宙ステーション)の実物大モデルの閲覧や微小重力下での物理現象や実験を体験。３～4人を1グループとして複数人同時にMeta Quest 3を装着。オペレーターは体験者の状況確認と安全確認をしつつ専用ツール(Androidアプリ)からネットワーク経由でシナリオ進行の指示を出すことで、すべての体験者のシナリオが同時に進んでいく。引用：https://www.sorahaku.net/event/iss-with-mr/ Copyright© HoloLab Inc. All rights reserved 引用： https://twitter.com/SORAHAKU324/ 16

https://www.sorahaku.net/event/iss-with-mr/

17.

18.

19.

20.

21.

22.

23.

スキャンデータを使用した現地での位置調整 Meta Quest 3はカメラデータを取得できないため、画像マーカーや二次元コード、 VPSなどを利用した位置合わせができない →前述のスキャンデータを半透明で表示し、実物と重ね合わせながら手動で位置合わせをする仕組みを実装半透明モデルを利用した位置合わせオクルージョン用モデルとしても利用可能 Copyright© HoloLab Inc. All rights reserved 23

24.

巨大なオブジェクトの表示方法実物大のISSは大きすぎるため、館内には収まりきらず天井や壁との奥行きに違和感がでてしまう。 →上半分だけ背景を宇宙にして天井や壁を隠すことで奥行きの違和感をなくす一方で、下半分は現実が見えているので実際の展示物(飛行機など)との大きさの比較ができる。体験する場所は2F部分なので天井が近い引用：https://www.sorahaku.net/exhibition/permanent/space/s4/ Copyright© HoloLab Inc. All rights reserved 24

https://www.sorahaku.net/exhibition/permanent/space/s4/

25.

26.

27.

Meta Quest 3と比べると ※不特定多数のユーザーが体験するデジタルミュージアムコンテンツという前提の場合 ◎ 高解像度・低遅延で実在感が大幅アップ △ visionOS標準機能により大きく移動すると半透明になってしまう △ 装着～コンテンツ開始までの運用難易度が高い × 高額であり購入はしにくい ※そもそも現時点では日本では未発売 Copyright© HoloLab Inc. All rights reserved 27

28.

Meta Quest 3と比べると ※現時点では高解像度からなるクオリティの高さは圧倒的にApple Vision Pro 優位だが、不特定多数のユーザーに体験してもらうコンテンツという前提の場合、デバイスの価格と購入しやすさから考えると Meta Quest 3が優位。個人で楽しんでもらうためにApp Storeで配信という形での提供や、ロイヤルカスタマーなど限られたユーザーを対象とした特別なサービスとしての提供がであればApple Vision Proならではのクオリティを活かしたデジタルミュージアムコンテンツの運用が可能だと思われる。 Copyright© HoloLab Inc. All rights reserved 28

29.

Meta Quest 3からApple Vision Proへの移殖 Meta Quest 3向けに開発したデジタルミュージアムアプリは Unityを使用しているため、同じくUnity(PolySpatial)での開発が可能なApple Vision Pro用アプリへのデータ流用が可能。ただし使用できるのはコンテンツデータ部分のみで、コントローラーの有無やUIまわりなど、デバイス毎に異なる部分については最適化を行う必要がある。 Copyright© HoloLab Inc. All rights reserved 29

30.