空間ビデオの紹介と活用

4.7K Views

May 16, 24

#holoconf24 #空間ビデオ #Spatial Video #Apple Vision Pro #3D映像 #XR

スライド概要

2024/4/18に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら
https://www.youtube.com/playlist?list=PLcIuMEVR3eYegP17SKG_UPgERmmGStEr_

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

ホロラボ

@HoloLab

スライド一覧

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.6MB)

関連スライド

3DモデルとPower BIの悪魔合体「建物みえるくん」をつくってみた！

holoconf23 bim

ホロラボ 34.6K

トヨタのxR活用事例ご紹介～ホロラボとの開発秘話を中心に (ホロラボカンファレンス 2022 トヨタ自動車株式会社栢野様発表スライド)

hololens mixed reality holoconf22

ホロラボ 32.1K

BIMから3次元モデルを消してみたら、意外に便利でした

holoconf23 bim

ホロラボ 30K

3DGS･フォトグラメトリ比較と最新事例

ホロテク24

ホロラボ 19.7K

三菱重工業との取り組み事例　～HoloLensなどを活用した現場向けコミュニケーションツールの開発～

holoconf22 hololens mixed reality

ホロラボ 18.3K

⽵中⼯務店の“建設DX”と “open BIM”と“xR” (ホロラボカンファレンス 2022 株式会社竹中工務店橋口様、川上様発表スライド)

hololens mixed reality holoconf22

ホロラボ 13.6K

各ページのテキスト

このセッションの概要 •「空間ビデオの紹介と活用について」 (20分) oApple Vision Pro の発売に合わせて 3次元で動画再生ができる空間ビデオが登場しました。 oApple HEVC Stereo Video/Spatial Videoとも呼ばれます。 o空間ビデオの特徴や作成方法について、ホロラボで調査/開発した内容を紹介します。 oこのセッションを通じて、空間ビデオの魅力や可能性を感じて、一緒に取り組んでくれるパートナーを社内外に見つけていきたい。 Copyright© HoloLab Inc. All rights reserved 4

ホロコミュニケーションについて自社パッケージ製品、HOLO-COMMUNICATION（ホロコミュニケーション）は、遠隔参加者の前に設置した 3D センサーにより 3D 立体映像をリアルタイムで目の前に出現させ、音声やジェスチャーでコミュニケーションできる 3D立体映像遠隔コミュニケーションシステム。 https://hololab.co.jp/holo-communication/ Copyright© HoloLab Inc. All rights reserved 5

https://hololab.co.jp/holo-communication/

3D 立体映像配信 • 3D 立体映像をやってみて • 良いところ o 実在感が増す。 o 相手の存在を感じることができる。 o 音声と組み合わせることも重要。 o 録画/再生ができるのは便利 • やってみての課題 o ヘッドマウントディスプレイを相互に装着すると、お互いの顔が見えない。 o スペックの限界 ▪ ネットワーク帯域 • 3Dデータのライブ配信には、多くのネットワーク帯域が必要 ▪ レンダリング時のCPU/GPU負荷 • 描画はできても、他コンテンツとの同時再生の余裕は無い。 ▪ 画像の解像度 • 実寸大で表示すると解像度の粗さが目立つ Copyright© HoloLab Inc. All rights reserved 6

空間ビデオについて • 空間ビデオは３次元動画のフォーマットである。 oApple が Vision Pro とともに発表 o撮影デバイス ▪ iPhone 15 Pro(Max)およびApple Vison Pro o視聴デバイス ▪ Apple Vison Pro • https://www.apple.com/jp/newsroom/2023/12/apple-introduces-spatial-video-capture-on-iphone-15-pro/ Copyright© HoloLab Inc. All rights reserved 7

https://www.apple.com/jp/newsroom/2023/12/apple-introduces-spatial-video-capture-on-iphone-15-pro/

空間ビデオの注目ポイント2 • Appleは「空間」のコンテキストを重視している o空間コンピューティング (Apple Vison Pro) o空間オーディオ (Air Pods/Pro) o空間ビデオ (iPhone 15 Pro/Apple Vision Pro) o空間ビデオを理解することで、Appleの空間コンピューティングのコンテキストの理解を深めることができるのではないか？ Copyright© HoloLab Inc. All rights reserved 9

10.

https://developer.apple.com/av-foundation/Stereo-Video-ISOBMFF-Extensions.pdf

11.

ホロラボの空間ビデオの取り組み • 空間ビデオの魅力をさらに広げる3つの取り組みを研究開発 1.空間ビデオの作成/変換 ▪ CG空間を空間ビデオ ▪ 2D映像を空間ビデオ • 普通のカメラで空間ビデオ 2.空間ビデオの視聴 • WebXRで空間ビデオ再生 • Unity内で空間ビデオ再生 3.空間ビデオの配信(予定) • ストリーミング配信(ライブ/アーカイブ） Copyright© HoloLab Inc. All rights reserved 11

12.

13.

14.

15.

16.

17.

ステレオレンダリングについて • Single Pass Instanced • カメラのIDが取得できる • Multi Pass • カメラの座標からカメラIDを識別 • Three.js(WebXR) • カメラごとのLayerをオブジェクトに設定 • Left : Layer1 • Right : Layer2 • 左右それぞれにオブジェクトを用意する Copyright© HoloLab Inc. All rights reserved 17

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

まとめ(林) • このセッションを通じて、空間ビデオの魅力や可能性を感じて、一緒に取り組んでくれるパートナーを社内外に見つけていきたい。 • 活用方法案 • 自分で撮影した動画の視聴/変換サービス o IPhoneで撮った空間ビデオをVRデバイスで視聴 o 通常の動画を空間ビデオ化 o 歴史/思い出映像を空間ビデオ化 o 空間ライブ配信/オンデマンド配信 o 臨場感が期待される動画 ▪ 音楽ライブ/VTuber/個人配信 ▪ ▪ スポーツ/ゲーム実況学習/教育 o プレミアムな体験 ▪ クラウドレンダリング o クラウドゲーミングを空間ビデオフォーマットで配信 • 興味がある人声かけください Copyright© HoloLab Inc. All rights reserved 45

46.