Mixed Reality Toolkit 3 の更新状況 - 6月からもちょいちょいアップデートされてるよ

Mixed Reality Toolkit 3 の更新状況 6月からもちょいちょいアップデートされてるよ 2022/10 Tokyo HoloLens ミートアップ Vol.31 takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近はMixed Reality Toolkit 3と戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

本日の内容 ○ Mixed Reality Toolkit 3の最近 ○おさらい ○更新状況 5分LTなのでシンプル！ 2022/10/12 Copyright © 2022 Takahiro Miyaura 3

Mixed Reality Toolkit 3 おさらい 2022/10/12 Copyright © 2022 Takahiro Miyaura 4

Mixed Reality Toolkit 3おさらい - Mixed Reality Toolkit とは Unity向けのMicrosoft公式のOSSライブラリ Holotoolkit Mixed Reality Toolkit 3は Public Preview版だから 検証目的で使ってね！ HoloLens向け ◼Unity向け ◼クロスプラットフォーム ◼最新バージョンはV2.8.2 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります。 ※実はBabylon.js版もある 2022/10/12 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 New!!! Copyright © 2022 Takahiro Miyaura 5

Mixed Reality Toolkit 3おさらい ポイント 既存ライブラリへの対応、標準化 ✓ MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 引 用 元 :Microsoft Developer,「 Getting started with your first MRTK3 project」 , https://youtu.be/aVnwIq4VUcY, (参 照 2022/06/11) 業界標準、冗長な機能に対応するためのリファクタリングにより 扱いやすいライブラリへ 2022/10/12 Copyright © 2022 Takahiro Miyaura 6

Mixed Reality Toolkit 3おさらい ポイント 機能毎のバージョニングに変更となった パッケージ名 バージョン com.microsoft.mrtk.accessibility 1.0.0-pre.11 com.microsoft.mrtk.core 3.0.0-pre.11 com.microsoft.mrtk.data 1.0.0-pre.11 MRTK3からの新機能なのでV1から始まってる MRTK3からの新機能なのでV1から始まってる com.microsoft.mrtk.diagnostics 3.0.0-pre.11 com.microsoft.mrtk.environment 3.0.0-pre.11 com.microsoft.mrtk.extendedassets 3.0.0-pre.11 com.microsoft.mrtk.graphicstools.unity 2022/10/12 0.4.0 com.microsoft.mrtk.input 3.0.0-pre.11 com.microsoft.mrtk.spatialmanipulation 3.0.0-pre.11 com.microsoft.mrtk.standardassets 3.0.0-pre.11 com.microsoft.mrtk.uxcomponents 3.0.0-pre.11 com.microsoft.mrtk.uxcore 3.0.0-pre.11 com.microsoft.mrtk.windowsspeech 3.0.0-pre.11 Copyright © 2022 Takahiro Miyaura 7

Mixed Reality Toolkit 3おさらい 現時点でのサポートデバイス 随時追加しているのでExperimental（試験的）が多め Platform Supported Devices OpenXR devices ○ Microsoft HoloLens 2 ○ Meta Quest 1/2 ○ Windows Mixed Reality (experimental) ○ SteamVR (experimental) ○ Oculus Rift on OpenXR (experimental) ○ Varjo XR-3 (experimental) Windows ○ Traditional flat-screen desktop (experimental) And more coming soon! OpenXRに対応していると大抵動く XRI対応でデバイス対応はかなり楽になってる印象 2022/10/12 Copyright © 2022 Takahiro Miyaura 8

Mixed Reality Toolkit 3おさらい （参考）開発環境とパッケージ要件 開発に必要な環境とパッケージ(HoloLensの場合) ○ Mixed Reality Feature Tool ○ Unity 2020.3.35,2021.3.4 or newer ○ packages ✓ Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool) ✓ Input System* ✓ XR Management* ✓ XR Interaction Toolkit* ✓ OpenXR Plugin* ○ Visual Studio 2022 ✓ Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11 SDK ✓ USB Device Connectivity (required to deploy/debug to HoloLens over USB) ✓ C++ (v142) Universal Windows Platform tools (required when using Unity) ＊印はMRTK3を導入すると自動的に依存関係のあるpackageとしてインポートされます。 2022/10/12 Copyright © 2022 Takahiro Miyaura 9

Mixed Reality Toolkit 3おさらい 脱線:Magic Leap２ハッカソンみたいなことがあった MRTK3がMagic Leap 2で動くかな？ とかしていた。 2022/10/12 Copyright © 2022 Takahiro Miyaura 10

Mixed Reality Toolkit 3おさらい 脱線:Magic Leap２ハッカソンみたいなことがあった 実際のところどうだったの？ ○ 頭の6DOFは特に何もしなくても動いてた ○ ただ、原点位置がいまいちわかっていない・・・ ○ ハンドトラッキングは作り込みがいるかもしれない（要調査） ○ ML2に対応したMRTK V2.8.2はあるのでそこから紐解けばあるいは ○ モーションコントローラも調整は必要そうだった ※おさわり会の時はMRTKのハンドコントローラの動きを乗っ取った。 ○ 1個だけ認識する前提での部品が必要 ○ 一応ＸＲＩ経由で制御可なのは確認 ML2のOpenXR対応次第かも。。。 それまでに無理してやるべきか （技術的興味だけある） 2022/10/12 Copyright © 2022 Takahiro Miyaura 11

Mixed Reality Toolkit 3 の更新状況 2022/10/12 Copyright © 2022 Takahiro Miyaura 12

Mixed Reality Toolkit 3の更新状況 6月発表からは4回ほどアップデート MRTK V2の機能の移植と新しいコンセプトに合わせた機能追加が平行 2022/10/12 Copyright © 2022 Takahiro Miyaura 13

Mixed Reality Toolkit 3の更新状況 pre.7 - https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/10760 初回Public Preview版からの フィードバックや改善、Bugfix等 MRTK V2の機能の移植と新しいコンセプトに合わせた機能追加が平行 2022/10/12 Copyright © 2022 Takahiro Miyaura 14

• https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/10760

Mixed Reality Toolkit 3の更新状況 pre.9 - https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/10824 フィードバックや改善、Bugfixに加えて Quest ハンドトラッキングの 完全な機能的インタラクション MRTK V2の機能の移植と新しいコンセプトに合わせた機能追加が平行 2022/10/12 Copyright © 2022 Takahiro Miyaura 15

• https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/10824

Mixed Reality Toolkit 3の更新状況 pre.10 - https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/10902 フィードバックや改善、Bugfixに加えて new rigged hand mesh visualizer (手がきれいになった！) MRTK V2の機能の移植と新しいコンセプトに合わせた機能追加が平行 2022/10/12 Copyright © 2022 Takahiro Miyaura 16

• https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/10902

Mixed Reality Toolkit 3の更新状況 pre.11 - https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/11002 フィードバックや改善、Bugfixに加えて Projectの検証、UX Componentのメニュー追加等 の使いやすさの改善 と3Dモデルを使ったアイコン設定が復活 MRTK V2の機能の移植と新しいコンセプトに合わせた機能追加が平行 2022/10/12 Copyright © 2022 Takahiro Miyaura 17

• https://github.com/microsoft/MixedRealityToolkit-Unity/discussions/11002

本日の内容 ○ Mixed Reality Toolkit 3の最近 ○おさらい ○ 業界標準やXRI等の標準ライブラリで再構成 ○ 機能毎バージョニングでリリースサイクルの短縮化 ○更新状況 ○ 2~4 weekでUpdateが進んでいる ○ MRTK V2の機能、新しい機能が随時追加 正式なリリース予定 Fall / Winter 2022 2022/10/12 Copyright © 2022 Takahiro Miyaura 18

告知 - XR Kaigi 2022の事 ○ XR Kaigi 2022 登壇します！ ○ ネタはもちろん（？）MRTK3 ○ただし、タイトル未だ ○詳しい内容は未だ ○唯一の懸念は事前収録後にGAされること 2022/10/12 Copyright © 2022 Takahiro Miyaura 19

(参考)MRTK3の開発について サンプル試したい方 ○Qiitaにまとめています。 ○Getting started with your first MRTK3 project https://qiita.com/miyaura/items/df5947d45cb3b86bbf18 ○MRTK3について ○空のプロジェクトの作成～デプロイ ○Hand Interaction Example等のサンプルについて 2022/10/12 Copyright © 2022 Takahiro Miyaura 20

• https://qiita.com/miyaura/items/df5947d45cb3b86bbf18

(参考)MRTK3に関する情報 ◼ Github - Mixed Reality Toolkit 3 ✓ https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3 ◼ MTRK3ドキュメント ✓ https://aka.ms/mrtk3 ◼ MRTK3 Tutorial : "Zappy's Playground" ✓ https://aka.ms/ZappysPlayground ◼ Mixed Reality Dev Days 2022 ✓ 再生リスト:https://www.youtube.com/watch?v=U1BSqLbW-PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL 1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.(https://youtu.be/fjQFkeF-ZOM) →過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか 2. Getting started with your first MRTK3 project(https://youtu.be/aVnwIq4VUcY) →MRTK3動かしてみようぜ 3. MRTK3 Interaction building blocks(https://youtu.be/naVziEJ-yDg) →MRTK3の入力系についての設計や構造 4. Building Rich UI for MR in MRTK3(https://youtu.be/g2HF5HMy-2c) →MRTK3の素敵なUIをどう構築しているか 5. Working with Dynamic Data and Theming in MRTK3(https://youtu.be/IiTpZ2ojyno) →データバインディングとテーマ制御について 6. Deploy Everywhere with OpenXR and MRTK3(https://youtu.be/LI6lyW9TG9o) →MRTK3のOpenXR対応で色々デバイスで動く話 2022/10/12 Copyright © 2022 Takahiro Miyaura 21

• https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3
• https://aka.ms/mrtk3
• https://aka.ms/ZappysPlayground

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2022/10/12