Snapdragon Spaces v0.14.0 - Dual Render Fusionについて

Snapdragon Spaces v0.14.0 Dual Render Fusionについて 2023/06 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit 3とか Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

本日の内容 引続きです。 これ もう少ししたら、MRTK連携の方にハマりたい 2023/6/21 Copyright © 2023 Takahiro Miyaura 3

岩本さんにお土産としてもらったノベルティ 今日の話は先日アナウンスされた新しい機能？ 2023/6/21 Copyright © 2023 Takahiro Miyaura 4

Lenovo Think Reality A3とは 2023/6/21 Copyright © 2023 Takahiro Miyaura 5

Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support 同じような投影部分が眼鏡Nreal Light/Air ○ スマホや演算ユニットが別 スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/6/21 Copyright © 2023 Takahiro Miyaura 6

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/6/21 Copyright © 2023 Takahiro Miyaura 7

Snapdragon Spaces 最近V0.14.0にアップデートされた ○空間メッシュ系に関する機能追加 ○サンプルコードの見直し（機能や規約） ○一部破壊的アップデートの発生 ○いくつかのバグ修正 ○別パッケージで提供 ○Dual Render Fusion 2023/6/21 本日はこちら Copyright © 2023 Takahiro Miyaura 8

Snapdragon Spaces Dual Render Fusionとは 2023/6/21 Copyright © 2023 Takahiro Miyaura 9

Snapdragon Spaces Dual Render Fusionとは Smart Phone接続型のARグラス向けの機能（ヘッドセット向けではない） ○Dual Render Fusion ２つの 描画を 融合する 1つのコンテンツ Smart Phoneの画面描画とARグラスの空間描画を １つのコンテンツの中で使える仕組み 2023/6/21 Copyright © 2023 Takahiro Miyaura 10

Snapdragon Spaces 普段のARグラスでコンテンツ作った場合 Snapdragon Spacesの場合、コントローラは独立したネイティブアプリ Smart Phone ARグラス Motion Controller (OpenXR) 操作をコンテンツに反映 Smart Phoneをネイティブアプリとして 3Dofモーションコントローラ化している 2023/6/21 Copyright © 2023 Takahiro Miyaura Smart Phone タッチパッド操作 11

Snapdragon Spaces Dual Render Fusionを使うと。。。 1つのUnityアプリとしてARグラスとSmart Phoneのディスプレイを使える ARグラス描画領域 1コンテンツで実装 Smart Phone描画領域 Smart Phone側もUnityで実装可能に より柔軟なUIやUXを実現できる！ 2023/6/21 Copyright © 2023 Takahiro Miyaura 12

Snapdragon Spaces Dual Render Fusionサンプル パッケージに含まれているサンプルの動作 2023/6/21 Copyright © 2023 Takahiro Miyaura 13

Snapdragon Spaces Dual Render Fusionサンプル Cube Manipulation ○ タッチパッド操作 2023/6/21 Copyright © 2023 Takahiro Miyaura 14

Snapdragon Spaces Dual Render Fusionサンプル Controller Prefab Sample Scene ○ ネイティブコントロー ラをPrefab化 2023/6/21 Copyright © 2023 Takahiro Miyaura 15

Snapdragon Spaces Dual Render Fusionサンプル Landscape UI Sample Scene ○ 横置きUI操作のサンプル ○ UGUIでUIを構築 ○ コンテンツ内の空間は共通 ○ Cubeの操作が両方に反映される 2023/6/21 Copyright © 2023 Takahiro Miyaura 16

Snapdragon Spaces Dual Render Fusionサンプル Portrait UI Sample Scene ○ 縦置きUI操作のサンプル ○ UGUIでUIを構築 ○ ARグラスのミラーリングも （コンテンツのみ） ○ コンテンツ内の空間は共通 ○ Cubeの操作が両方に反映される 2023/6/21 Copyright © 2023 Takahiro Miyaura 17

Snapdragon Spaces Dual Render Fusionサンプル Dynamic OpenXR Loader ○ 動的にOpenXRの機能を制御 ○ 必要な時だけARグラス利用も可能に 通常はスマホアプリとして提供 ARグラス繋げばよりリッチな体験 といったこともできそう 2023/6/21 Copyright © 2023 Takahiro Miyaura 18

Dual Render Fusion Unity内の仕組み 2023/6/21 Copyright © 2023 Takahiro Miyaura 19

Dual Render Fusion Unity内の仕組み Depth : 0 Target Display : Display 1 Target Eye : Both Cameraを２つ使って実現している ARグラス用Camera ※AR Session Originに設定されていること Smart Phone用のCamera Depth : 1 Target Display : Display 1 Target Eye : None 2023/6/21 Copyright © 2023 Takahiro Miyaura 20

Dual Render Fusion Unity内の仕組み Smart Phone側だけに出す例 カメラ毎に表示オブジェクトを 制御する方法が使える サンプルにもあったメニュー部品 Overlay設定 ディスプレイに直接表示 ※Overlay設定であればARグラスでは 描画されないハックを利用 Target Display は 「Display 1」 2023/6/21 Copyright © 2023 Takahiro Miyaura 21

Dual Render Fusion Unity内の仕組み Smart Phone側だけに出す例 カメラ毎に表示オブジェクトを 制御する方法が使える サンプルにもあったメニュー部品 Overlay設定 ディスプレイに直接表示 ※Overlay設定であればARグラスでは 描画されないハックを利用 Target Display は 「Display 1」 2023/6/21 Copyright © 2023 Takahiro Miyaura 22

気づき（まとめ） 2023/6/21 Copyright © 2023 Takahiro Miyaura 23

Snapdragon Space - Dual Render Fusion 気づき ✓ ARグラスとSmart Phoneの描画を1つのコンテンツとして扱える ✓ つまり、Smart Phone接続型のARグラスをフル活用できる ✓ ✓ ✓ 従来はARグラスが主体でSmart Phoneは演算装置や、簡易コントローラ扱い 必要に応じてARグラスを使うといったスマホアプリの拡張的な利用も サンプルのOpenXR動的ローダーは興味深い ✓ 必要な時だけARグラス使うスマホアプリを構築できる ✓ Unity実装について ✓ ✓ ✓ Smart PhoneとARグラス用にCameraを用意 Camera毎にコンテンツ描画 V0.14.0は上記実装を実現するためのルール定義とサンプル提供のみ スマホ接続型ARグラスというジャンルならではの コンテンツが作成できるようになる魅力 2023/6/21 Copyright © 2023 Takahiro Miyaura 24

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ