Mixed Reality Toolkit V3について

Mixed Reality Toolkit V3について 2022/01/19 XRミーティング takabrz1 大阪駆動開発 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

最近の成果 2022/01/19 Copyright © 2022 Takahiro Miyaura 3

ついにLunar Moduleが！ Lunar Module = Microsoft Mixed Reality Design Labs の活かしたUXアプリの1つ ○HoloLens 1 ○HoloLens 2 LegacyXR + MRTK V2.7.0でHololens 1用のアプリをHoloLens 2用に再調整 2022/01/19 Copyright © 2022 Takahiro Miyaura 4

今日のお題 ◼ Mixed Reality Toolkit V3について ✓ 昨日のミートアップで色々情報が出ていたのでその共有 ✓ ✓ ✓ ✓ ✓ Mixed Reality Toolkit とは なぜV3が必要か？ アーキテクチャ 機能(一部) ロードマップ 動画を見たい方は・・・ HoloLens ミートアップのアーカイブは Conpass等で後日共有予定 2022/01/19 Copyright © 2022 Takahiro Miyaura 5

Mixed Reality Toolkit V3について - Mixed Reality Toolkit とは 2022/01/19 Copyright © 2022 Takahiro Miyaura 6

Mixed Reality Toolkit V3について - Mixed Reality Toolkit とは Unity向けのMicrosoft公式のOSSライブラリ ◼Unity向け ◼クロスプラットフォーム ◼最新バージョンはV2.7.3 基本コンポーネントの例 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります。 2022/01/19 Copyright © 2022 Takahiro Miyaura 7

Mixed Reality Toolkit V3について - Mixed Reality Toolkit とは 特徴その１ ◼Unity向け ◼クロスプラットフォーム ◼最新バージョンはV2.7.3 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール 入力シミュレーション ◦ Unity Editor上でハンドトラッキング操作等をエミュレート可能 ◦ 実機にデプロイせずにある程度の動作確認が実現可能 ※Unreal向けのMRTKもあります。 2022/01/19 Copyright © 2022 Takahiro Miyaura 8

Mixed Reality Toolkit V3について - Mixed Reality Toolkit とは 特徴その２ ◼Unity向け ◼クロスプラットフォーム ◼最新バージョンはV2.7.3 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール クロスプラットフォーム対応 ◦ 入力方法等デバイス毎のInteractionはProfileで自動的に変更 ◦ 同一プロジェクトで複数のxRデバイスに対応できる ※Unreal向けのMRTKもあります。 2022/01/19 Copyright © 2022 Takahiro Miyaura 9

Mixed Reality Toolkit V3について - なぜV3が必要か？ 2022/01/19 Copyright © 2022 Takahiro Miyaura 10

Mixed Reality Toolkit V3について - なぜV3が必要なのか コミュニティからのフィードバック 便利さゆえに・・・ ○コンポーネントの課題 ◦各サブシステムが大きくなっている ◦個別で活用できない ◦UX部品として整備しているためカスタマイズが難しくなっている ◦パフォーマンスの劣化が大きくなっている ○環境の課題 ◦Unity2018のサポート終了 ◦LegacyXRのサポート終了 ◦業界標準への対応 ◦ 一例として紹介されていました 2022/01/19 Copyright © 2022 Takahiro Miyaura 11

Mixed Reality Toolkit V3について - アーキテクチャ 2022/01/19 Copyright © 2022 Takahiro Miyaura 12

Mixed Reality Toolkit V3について - アーキテクチャ フィードバックと業界標準のサポート ○非MRTKのコードと容易に統合可能 ○独立したサブシステム ○MRTK V2を使いながらMRTK V3へ移行が可能 ○エンタープライズ規模に対応したコンポーネント ○トクロスプラットフォームデバイスのサポー ○業界標準のサポート(最小要件の変更) Unity XR Interaction Toolkit（XRI） xRデバイスとコンテンツのInteraction を抽象化しデバイス固有の実装を隠蔽 かすることでクロスプラットフォーム 開発を支援するための開発キット 2022/01/19 OpenXR Unity 2020.3 LTS xRコンテンツ開発を簡素化することを 目的としたクロスプラットフォームXR 体験を実現するための仕様およびSDK xRコンテンツ開発を実現する3D開発プ ラットフォーム Copyright © 2022 Takahiro Miyaura 13

Mixed Reality Toolkit V3について - アーキテクチャ 使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造 MRTK(No dependencies) MRTK Unity Theming / Branding Core UX (Buttons, sliders, etc) MRTK Interaction Layer (Pointers, Gaze, Stateful interactions) XR Interaction Toolkit Volumetric Layout Data Binding Accessibility Tools (Build Window, etc) Input Simulator Visualizations (Spatial Mesh, Performance Monitor, Boundary) MRTK Subsystems (Hands, Performance data, Speech, etc) XR / AR Subsystems Input System OpenXR / Microsoft Extentions 2022/01/19 Copyright © 2022 Takahiro Miyaura 14

Mixed Reality Toolkit V3について - アーキテクチャ MRTK V2で構築したコードは非MRTKのコードと同じ扱いになるらしい MRTK V2および非MRTKのコードを利用 MRTK Interaction Layer (Pointers, Gaze, Stateful interactions) XR Interaction Toolkit Volumetric Layout Data Binding MRTK Unity Theming / Branding Core UX (Buttons, sliders, etc) MRTK(No dependencies) Accessibility Tools (Build Window, etc) Input Simulator Visualizations (Spatial Mesh, Performance Monitor, Boundary) MRTK Subsystems (Hands, Performance data, Speech, etc) XR / AR Subsystems Input System OpenXR / Microsoft Extentions 2022/01/19 Copyright © 2022 Takahiro Miyaura 15

Mixed Reality Toolkit V3について - アーキテクチャ Interaction系は気になる。。。 MRTK(No dependencies) MRTK このレイヤは機能が 重複しているように見える Core UX (Buttons, sliders, etc) MRTK Interaction Layer (Pointers, Gaze, Stateful interactions) XR Interaction Toolkit Unity Theming / Branding Volumetric Layout Data Binding Accessibility Tools (Build Window, etc) Input Simulator Visualizations (Spatial Mesh, Performance Monitor, Boundary) MRTK Subsystems (Hands, Performance data, Speech, etc) XR / AR Subsystems Input System OpenXR / Microsoft Extentions 2022/01/19 Copyright © 2022 Takahiro Miyaura 16

Mixed Reality Toolkit V3について - 機能(一部) 目標： フレーム時間をできるだけ消費しないサブシステム 2022/01/19 Copyright © 2022 Takahiro Miyaura 17

Mixed Reality Toolkit V3について - 機能（一部） 新しいMixed Reality UI デザイン UI デザイン 最近のMeshアプリのUIもこれが ベースになってるらしい。 ※ある時から性能が上がったのはおそらくこの影響かな。。。 2022/01/19 Copyright © 2022 Takahiro Miyaura 18

Mixed Reality Toolkit V3について - 機能（一部） Theme System Theme System 選択したテーマに沿ってオブジェク トの形状を動的に変更する機能 2022/01/19 Copyright © 2022 Takahiro Miyaura 19

Mixed Reality Toolkit V3について - 機能（一部） Data Binding & Dynamic UI Data Binding & Dynamic UI 動的なデータに合わせてUIコンポー ネントも動的に変わる機能 ※リストの過不足でUIが変更される等 2022/01/19 Copyright © 2022 Takahiro Miyaura 20

Mixed Reality Toolkit V3について - 機能（一部） Interaction (オブジェクトと操作の相互作用) Interaction ◦ オブジェクトと操作に対応する Interaction（相互作用）を実現 ◦ V3ではUnity標準の仕組みの上に 拡張 2022/01/19 Copyright © 2022 Takahiro Miyaura 21

Mixed Reality Toolkit V3について - 機能（一部） Interaction (オブジェクトと操作の相互作用) ビジュアルとInteractionの独立性 ◦ Interactionに対するビジュアルの 動作は完全に切り離される。 ◦ Theme System含めて柔軟なUI切 替えに対応するためかな 2022/01/19 Copyright © 2022 Takahiro Miyaura 22

Mixed Reality Toolkit V3について - 機能（一部） Interaction (オブジェクトと操作の相互作用) Interactor（V2のPointer相当?） ◦ 手や頭といったオブジェクトを 操作する基点になる要素 ◦ 操作手段に応じてアクションが 異なる 2022/01/19 Copyright © 2022 Takahiro Miyaura 23

Mixed Reality Toolkit V3について - 機能（一部） Layout Tools オブジェクトの配置支援ツール ◦ 範囲内に柔軟でスケーリング可 能なレイアウトを実現 ◦ 変更が即座に反映 ※V2では更新ボタンを押してから反映 2022/01/19 Copyright © 2022 Takahiro Miyaura 24

Mixed Reality Toolkit V3について - 機能（一部） Curved Layouts 湾曲レイアウトを柔軟に ◦ 上下にループ状になってる！？ ◦ 湾曲の度合いなどをEditor上で容 易に調整できてる！？ 2022/01/19 Copyright © 2022 Takahiro Miyaura 25

Mixed Reality Toolkit V3について -ロードマップ 2022/01/19 Copyright © 2022 Takahiro Miyaura 26

Mixed Reality Toolkit V3について - ロードマップ 2022年春～夏にPublic Preview→その後リリース予定 2022/01/19 Development Public Preview Now Spring/Summer ‘22 • Port core UX building blocks • Internal Validation • Performance Analysis • OpenXR • New Architecture based on XRI • New Mixed Reality Design Language • Independent Subsystems • UI Theme System • Data Binding • Collection Navigator • Volumetric Layout Tools Copyright © 2022 Takahiro Miyaura Public Contributions 27

まとめ 2022/01/19 Copyright © 2022 Takahiro Miyaura 28

今日のお題 ◼ Mixed Reality Toolkit V3について ✓ 昨日のミートアップで色々情報が出ていたのでその共有 ポイント:当面はMRTK V2で構築する ◦ MRTK V2系で構築したコンテンツはV3へは段階的な移行が可能になる予定 ◦ 過去資産もV2へアップデートすると今度の対応が容易になるかも 動画を見たい方は・・・ HoloLens ミートアップのアーカイブは Conpass等で後日共有予定 2022/01/19 Copyright © 2022 Takahiro Miyaura 29

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ