MRTK3 で Snapdragon Spaces Dual Render Fusion

3.2K Views

August 16, 23

#mixed reality #mrtk3 #unity #xr #snapdragon spaces #think reality a3

スライド概要

【大阪-オンライン開催】XRミーティング 2023/08/16【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/291405/)
Snapdragon SpacesのDual Render Fusionを利用してスマホの画面でARグラスのオブジェクトを操作するコントローラの作成方法を調査した話。コントローラのUIやコンテンツにMRTK3を利用できるかも合わせて検証。
実装の詳細は別途公開予定

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.45MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 21.9K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 11.8K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 9.7K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.2K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 7.5K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.2K

各ページのテキスト

MRTK3 で Snapdragon Spaces Dual Render Fusion 2023/08 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit 3とか Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

https://qiita.com/miyaura

Lenovoの手がけるARグラスいわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support 同じような投影部分が眼鏡Nreal Light/Air ○ スマホや演算ユニットが別スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/8/16 Copyright © 2023 Takahiro Miyaura 7

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービスマートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション開発・商用化を支援するプラットフォーム基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/8/16 Copyright © 2023 Takahiro Miyaura 8

Snapdragon Spaces 最近V0.15.0にアップデートされた ○Unity ○カメラフレームテクスチャのダウンサイジングをサポート ○サンプルコードの見直し ○ハンドトラッキングとコントローラの自動切替え ○Spatial Mappingのメッシュのレンダリングに不透明度を追加 ○Spaces Composition Layerコンポーネントの追加 ○QCHTパッケージがv4.0.1に ○等… ○Unreal Engine ○Unityと同じいくつかの修正 ○Spaces Toolの提供 ○等… 2023/8/16 Copyright © 2023 Takahiro Miyaura 9

10.

もう１つのライブラリ - Mixed Reality Toolkit とは Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはV2.8.3 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/8/16 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Pre.17 Copyright © 2023 Takahiro Miyaura 10

11.

12.

Snapdragon Spaces Dual Render Fusionとは Smart Phone接続型のARグラス向けの機能（ヘッドセット向けではない） ○Dual Render Fusion ２つの描画を融合する 1つのコンテンツ Smart Phoneの画面描画とARグラスの空間描画を１つのコンテンツの中で使える仕組み 2023/8/16 Copyright © 2023 Takahiro Miyaura 12

13.

Snapdragon Spaces 普段のARグラスでコンテンツ作った場合 Snapdragon Spacesの場合、コントローラは独立したネイティブアプリ Smart Phone ARグラス Motion Controller (OpenXR) 操作をコンテンツに反映 Smart Phoneをネイティブアプリとして 3Dofモーションコントローラ化している 2023/8/16 Copyright © 2023 Takahiro Miyaura Smart Phone タッチパッド操作 13

14.

Snapdragon Spaces Dual Render Fusionを使うと。。。 1つのUnityアプリとしてARグラスとSmart Phoneのディスプレイを使える ARグラス描画領域 1コンテンツで実装 Smart Phone描画領域 Smart Phone側もUnityで実装可能により柔軟なUIやUXを実現できる！ 2023/8/16 Copyright © 2023 Takahiro Miyaura 14

15.

16.

今回のカスタムコントローラスマホの画面に表示されるスマホによくあるスティック入力と空間のCubeをいじるボタン MRTK3のUX部品ボタン Cube表示/非表示 Cubeを赤色に Cubeを青色にアクションボタン左スティック Cubeの移動(x,y) ※x, yの2軸 2023/8/16 右スティック Cubeの回転 ※x, yの2軸 Copyright © 2023 Takahiro Miyaura 16

17.

18.

19.

20.

開発環境 ○ Snapdragon Spaces v0.15.0 (Snapdragon Spaces SDK本体) ○ Snapdragon Spaces Dual Render Fusion (Experimental) v0.14.0 ○ QCHT Unity Interaction v4.0.1(Snapdragon Spaces ハンドトラッキング拡張) ○ Mixed Reality Toolkit 3 pre.17 ○ Microsoft Mixed Reality OpenXR Plugin v1.8.1 ※実はね。。。 ○ Mixed Reality Feature Tool ○ Unity Hub 3.5.0 ○ Unity 2021.3.16f1 ○ Android Build Support一式 ○ packages ○ OpenXR Plugin ○ Input System ○ XR Management ○ XR Interaction Toolkit ○… 2023/8/16 Copyright © 2023 Takahiro Miyaura 20

21.

Microsoft Mixed Reality OpenXR Pluginのgithub調べてるときに… 最新版でAndroidサポートがパージされてた Microsoft Mixed Reality OpenXR Plugin V1.8.0 ○ 最新版でAndroidサポートがなくなった。。。 Quest関連の機能もこのライブラリはサポートしていた ○今まではMeta ○Adnroid系はUnityとかMetaのライブラリを使ってねということに。。。 Snapdragon SpacesとMRTKシリーズの連携は Microsoft Mixed Reality OpenXR Plugin V1.7.2まで Snapdragon SpacesのDiscord見てるとこの事実はすでに認識済みで Mixed Reality OpenXR Plugin に変わる手段の取組みは進めているそうです 2023/8/16 Copyright © 2023 Takahiro Miyaura 21

22.

23.

Unityの開発環境‥等 MRTK3 + Snapdragon Spaces + Dual Render Fusion + QCHT のプレーンな環境を作る詳細は記事にしているところなのでもうしばらくお待ちを 0. 空Unityプロジェクト作る 1. 2. 3. 4. 5. 6. 2023/8/16 MRTK3セットアップ Snapdragon Spaces, Dual Render Fusion, QCHT インポート XR Plug-in Managementの調整 MRTK3の設定変更 MRTK XR Rigの変更スマホに表示するカスタムコントローラを実装する Copyright © 2023 Takahiro Miyaura 23

24.

25.

Dual Render Fusion Tag : MainCamera Depth : 0 Target Display : Display 1 Target Eye : Both 設定 Cameraを２つ使って実現している ARグラス用Camera ※AR Session Originに設定されていること Smart Phone用のCamera Tag : Untagged Depth : 1 Target Display : Display 1 Target Eye : None ARグラス用のカメラをMainCameraに！！！これをしないとMRTK3は動かない 2023/8/16 Copyright © 2023 Takahiro Miyaura 25

26.

Dual Render Fusion コントローラの設定 UGUIを利用（スマホだけに表示）カメラ毎に表示オブジェクトを制御する方法が使える親Canvasを作る Overlay設定ディスプレイに直接表示 ※Overlay設定であればARグラスでは描画されないハックを利用 Target Display は「Display 1」 2023/8/16 Copyright © 2023 Takahiro Miyaura 26

27.

28.

29.

コントローラの仕組みもしカスタムするんだったら UGUIで作ったUIのイベントをXRI経由にしておくと汎用性がでる Right Stickの情報を取得 InputSystemに通知するカスタムコンポーネント Right Stickの可変値としてVector2で渡す UGUI – Image ドラッグイベントde 座標を取得 2023/8/16 Input Actionを監視コントローラの情報でオブジェクトを制御 Objectに反映 Copyright © 2023 Takahiro Miyaura 29

30.

31.

32.

33.

MRTK3 With Dual Render Fusion 気づき ✓ Dual Render Fusion ✓ ✓ ✓ ARグラスとSmart Phoneの描画を1つのコンテンツとして扱えるスマホのアプリとして使うことも可能必要な時だけThink Reality A3をつないでARアプリ体験も可能 ✓ MRTK3 With Dual Render Fusion ✓ ✓ ✓ スマホ用UIをMRTK3で実装 & タッチパネル操作可能。 MRTK3のUGUI版のUX部品を利用 HoloLens 2やMeta Quest用にはスマホ上のUIをハンドメニュー化スマホ接続型ARグラスとスタンドアロンHMD両対応のUIの構築も容易 2023/8/16 Copyright © 2023 Takahiro Miyaura 33

34.

大阪駆動開発関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ