MRTK3を調べてみた

MRTK3を調べてみた 2022/06 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

先日 Mixed Reality Dev Days 2022が開催 2022/6/15 Copyright © 2022 Takahiro Miyaura 3

Mixed Reality Dev Daysとは だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催 ◼ 今回は以下の技術に関するセッション ✓ ✓ ✓ ✓ ✓ ✓ ✓ Mixed Reality Toolkit 3 Stereokit OpenXR, Unity XR Interaction Toolkit Unreal Engine 5 (+ Deep Learning) Azure Remote Rendering Moving Platform HoloLens 2 Power Thermal Notification SDK オンライン配信はMRTK3のみ Youtubeから見られます。 ○ 【1日目】https://youtu.be/xQW0WTOOggQ ○ 【2日目】 https://youtu.be/kCwwaQhJqQs 2022/6/15 Copyright © 2022 Takahiro Miyaura 4

• https://youtu.be/xQW0WTOOggQ
• https://youtu.be/kCwwaQhJqQs

ということで 2022/6/15 Copyright © 2022 Takahiro Miyaura 5

本日の内容 ◼ Mixed Reality Toolkit 3の概要とGet Started! ✓Mixed Reality Toolkit 3に至る経緯 ✓MRTK3のポイント ✓バージョニングとパッケージ ✓Get Started ✓ちょっと注意事項 2022/6/15 Copyright © 2022 Takahiro Miyaura 6

Mixed Reality Toolkit 3に至る経緯 2022/6/15 Copyright © 2022 Takahiro Miyaura 7

MRTK3のポイント 2022/6/15 Copyright © 2022 Takahiro Miyaura 8

MRTK3のポイント 既存ライブラリへの対応、標準化 ✓ MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 業界標準、冗長な機能に対応するためのリファクタリングにより 扱いやすいライブラリへ 2022/6/15 Copyright © 2022 Takahiro Miyaura 9

MRTK3のポイント アーキテクチャはこういう感じです。 ✓ MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 依存関係も見直しが入っており扱いやすく 2022/6/15 Copyright © 2022 Takahiro Miyaura 10

バージョニングとパッケージ 2022/6/15 Copyright © 2022 Takahiro Miyaura 11

バージョニングとパッケージ V2は機能に対してパッケージが大きかった MRTK3からは機能毎にパッケージングし細分化、それぞれにバージョンをつける ポイント 機能毎に細分化したことで修正時の パッケージの範囲も小さくなりリリー スサイクルを短縮できる ゆえに MRTK V3 ではなく MRTK3 となっている 3はバージョンではなく第3世代という意味 2022/6/15 Copyright © 2022 Takahiro Miyaura 12

Get Started概説 2022/6/15 Copyright © 2022 Takahiro Miyaura 13

Get Startedはこんな感じ HoloLens 2で動かす！ Meta Quest 2で動かす！ 2022/6/15 Copyright © 2022 Takahiro Miyaura 14

環境とパッケージ 開発に必要な環境とパッケージ ○ Mixed Reality Feature Tool ○ Unity 2020.35,2021.3.4 or newer ○ packages ✓ Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool) ✓ Input System* ✓ XR Management* ✓ XR Interaction Toolkit* ✓ OpenXr Plugin* ○ Visual Studio 2022 ✓ Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11 SDK ✓ USB Device Connectivity (required to deploy/debug to HoloLens over USB) ✓ C++ (v142) Universal Windows Platform tools (required when using Unity) ＊印はMRTK3を導入すると自動的に依存関係のあるpa ckageとしてインポートされます。 2022/6/15 Copyright © 2022 Takahiro Miyaura 15

（参考）MRTK3のバージョン ◼こういう感じで機能毎にバージョニングされます 2022/6/15 パッケージ名 バージョン com.microsoft.mrtk .accessibility 1.0.0-pre.6 com.microsoft.mrtk .core 3.0.0-pre.6 com.microsoft.mrtk .data 1.0.0-pre.6 com.microsoft.mrtk .diagnostics 3.0.0-pre.6 com.microsoft.mrtk .environment 3.0.0-pre.6 com.microsoft.mrtk .extendedassets 3.0.0-pre.6 com.microsoft.mrtk .graphicstools.unity 0.3.15 com.microsoft.mrtk .input 3.0.0-pre.6 com.microsoft.mrtk .spatialmanipulation 3.0.0-pre.6 com.microsoft.mrtk .standardassets 3.0.0-pre.6 com.microsoft.mrtk .uxcomponents 3.0.0-pre.6 com.microsoft.mrtk .uxcore 3.0.0-pre.6 com.microsoft.mrtk .windowsspeech 3.0.0-pre.6 Copyright © 2022 Takahiro Miyaura 16

Get Startedの内容 Unityで空プロジェクト作ってMRTK3のUI部品を使うまで 1. 2. 3. 4. Unityで空プロジェクト作成 1のプロジェクトにMixed Reality Feature Toolで必要なパッケージをインポート OpenXRの設定 Hierarchyの設定（この作業までするとベースが完成） ✓ Main Cameraの削除 ✓ MRTK XR Rigの追加 ✓ MRTK Input Simulatorの追加 5. ボタンといくつかのUI部品を追加 6. ビルド＆デプロイ 7. 2022/6/15 |・ω・’)b Copyright © 2022 Takahiro Miyaura 17

2. 1のプロジェクトにMixed Reality Feature Toolで 必要なパッケージをインポート ポイントは２つ MRTK3はこれをインポート ○ MRTK Input(3.0.0-pre.6) ○ MRTK Standard Assets(3.0.0-pre.6) ○ MRTK UX Conpoments(3.0.0-pre.6) ○ Mixed Reality OpenXR Plugin(1.4.1) 必要なコンポーネントの設定 Preview releaseの表示 MRTK3関連に加えてOpenXR Pluginの 追加も忘れずに！ 任意で空間オーディオライブラリも使 えます。 MRTK3はまだPublic Preview版なので Mixed Reality Feature Tool使うために は設定変更が必要 2022/6/15 Copyright © 2022 Takahiro Miyaura 18

4. Hierarchyの設定（この作業までするとベースが完成） 必要なPrefabは提供されている （現状は自分で設定する） ○ MRTK XR Rig ○ カメラ、コントローラ等 ○ MRTK Input Simulator ○ Editor上のデバッグで使う Projectタブで検索して追加する ※In PackageかAllで検索してね 2022/6/15 Copyright © 2022 Takahiro Miyaura 19

5. ボタンといくつかのUI部品を追加 UI系のPrefabも提供されている （現状は自分で設定する） ○ PressableButton_128x32mm_TextOnly等… Projectタブで検索して追加する ※In PackageかAllで検索してね ボタンのテキストは直接変更 2022/6/15 Copyright © 2022 Takahiro Miyaura 20

ちょっと注意事項 2022/6/15 Copyright © 2022 Takahiro Miyaura 21

ちょっと注意事項 V2に比べると不便だったり既存の問題があり まだpublic previewなのでね。。。 特に注意が必要なこと ○OpenXR対応なのでMeta Quest 2でも動きます ○ハンドトラッキングできます ○人差し指押せます ○モーションコントローラは使えます ！モーションコントローラは見えないです(今日時点) ！ハンドレイは未サポートです（今日時点） ！ジェスチャーも未サポートです（今日時点） 2022/6/15 Copyright © 2022 Takahiro Miyaura 22

まとめ 2022/6/15 Copyright © 2022 Takahiro Miyaura 23

まとめ ◼ Mixed Reality Toolkit 3の概要とGet Started! ✓Mixed Reality Toolkit 3に至る経緯 ✓ OpenXR策定前からのライブラリ ✓ 様々な便利機能をMRTK内で作りこんでいた ✓ 近年は標準規格、ライブラリ充実、機能が冗長になっていた ✓MRTK3のポイント ✓ 業界標準、既存ライブラリをベースに軽量で扱いやすく ✓バージョニングとパッケージ ✓ ✓ 機能毎に細分化→リリースサイクルの短縮 Mixed Reality Toolkit 3が正式、3は世代数 ✓Get Started ✓ 実装方法はOpenXR＋XRIに近いと思います ✓ちょっと注意事項 ✓ 2022/6/15 Meta Quest 2での利用は注意がいります。 Copyright © 2022 Takahiro Miyaura 24

今日の話は。。。 ○Qiitaにまとめています。 ○Getting started with your first MRTK3 project https://qiita.com/miyaura/items/df5947d45cb3b86bbf18 ○MRTK3について ○空のプロジェクトの作成～デプロイ ○Hand Interaction Example等のサンプルについて 2022/6/15 Copyright © 2022 Takahiro Miyaura 25

• https://qiita.com/miyaura/items/df5947d45cb3b86bbf18

もう少し他の機能にも触れつつ。。。 来週のTokyo HoloLens ミートアップ Vol.30では もう少しMRTK3の色々を話します！ 2022/6/15 Copyright © 2022 Takahiro Miyaura 26

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2022/6/15 Copyright © 2022 Takahiro Miyaura 27