Mixed Reality Toolkit 3 のチュートリアル「Zappy’s Playground」の紹介

Mixed Reality Toolkit 3 のチュートリアル Zappy’s Playgroundの紹介 2022/07 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近はMixed Reality Toolkit 3と戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

先月は Mixed Reality Toolkit 3祭りでした。 色々話があって面白かったですね！！！ 2022/7/20 Copyright © 2022 Takahiro Miyaura 3

Mixed Reality Dev Days 2022 だいたい春頃に開催さるMicrosoft社のMRの開発技術イベント コロナ禍でしばらくはオンラインだったが今回からオフラインでも開催 ◼ 今回は以下の技術に関するセッション ✓ ✓ ✓ ✓ ✓ ✓ ✓ Mixed Reality Toolkit 3 Stereokit OpenXR, Unity XR Interaction Toolkit Unreal Engine 5 (+ Deep Learning) Azure Remote Rendering Moving Platform HoloLens 2 Power Thermal Notification SDK オンライン配信はMRTK3のみでしたが 今は全セッションアーカイブ公開されてます。 https://www.youtube.com/watch?v=U1BSqLbWPM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL 2022/7/20 Copyright © 2022 Takahiro Miyaura 4

• https://www.youtube.com/watch?v=U1BSqLbW-

Tokyo HoloLens ミートアップ Vol.30 Mixed Reality Toolkit 3 Recapでぎゅっと詰めて紹介しました。 ◼ ミートアップ概要 ✓ 久々のMicrosoft上田さんの登壇も！ ✓ Microsoft Build 2022のメタバースの深堀が聞ける！ ✓ 私からのMRTK3話 ✓ 6セッション分を30分でｗ アーカイブ公開されてます。 https://youtu.be/DbPiRqg6HE8 2022/7/20 Copyright © 2022 Takahiro Miyaura 5

• https://youtu.be/DbPiRqg6HE8

本日の内容 ◼ Mixed Reality Toolkit 3のさらっと振り返り ✓ ✓ Mixed Reality Toolkit 3に至る経緯 ポイント ◼ Zappy’s Playgroundの紹介 ✓ ✓ 2022/7/20 Zappy’s Playgroundとは？ MRTK3のどんなことを体験できるの? Copyright © 2022 Takahiro Miyaura 6

Mixed Reality Toolkit 3 Mixed Reality Toolkit 3に至る経緯 2022/7/20 Copyright © 2022 Takahiro Miyaura 7

Mixed Reality Toolkit 3はPublic Preview版だから 検証目的で使ってね！ Microsoft 公式でもそう書かれています。 2022/7/20 Copyright © 2022 Takahiro Miyaura 8

Mixed Reality Toolkit 3に至る経緯 - Mixed Reality Toolkit とは Unity向けのMicrosoft公式のOSSライブラリ Holotoolkit HoloLens向け ◼Unity向け ◼クロスプラットフォーム ◼最新バージョンはV2.8.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります。 ※実はBabylon.js版もある 2022/7/20 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 New!!! Copyright © 2022 Takahiro Miyaura 9

MRTK3のポイント 既存ライブラリへの対応、標準化 ✓ MRTK V2までで持つしかなかった機能や仕組みを改めて既存ライブラリを利用するように変更 引 用 元 :Microsoft Developer,「 Getting started with your first MRTK3 project」 , https://youtu.be/aVnwIq4VUcY, (参 照 2022/06/11) 業界標準、冗長な機能に対応するためのリファクタリングにより 扱いやすいライブラリへ 2022/7/20 Copyright © 2022 Takahiro Miyaura 10

MRTK3のポイント （参考）開発環境とパッケージ要件 開発に必要な環境とパッケージ ○ Mixed Reality Feature Tool ○ Unity 2020.3.35,2021.3.4 or newer ○ packages ✓ Mixed Reality OpenXR Plugin(from Mixed Reality Feature Tool) ✓ Input System* ✓ XR Management* プチネタ ✓ XR Interaction Toolkit* C++のV14.3入れてしまうとビルドが うまくいかなくなると思います ✓ OpenXR Plugin* ○ Visual Studio 2022 ✓ Windows 10 SDK version 10.0.19041.0 or 10.0.18362.0, or Windows 11 SDK ✓ USB Device Connectivity (required to deploy/debug to HoloLens over USB) ✓ C++ (v142) Universal Windows Platform tools (required when using Unity) ＊印はMRTK3を導入すると自動的に依存関係のあるpa ckageとしてインポートされます。 2022/7/20 Copyright © 2022 Takahiro Miyaura 11

Zappy’s Playgroundの紹介 2022/7/20 Copyright © 2022 Takahiro Miyaura 12

Zappy’s Playground Mixed Reality Toolkit 3 の機能を体験できるチュートリアル ◼ HoloLens 2 / Meta Quest 2で体験可 ドキュメントはこちら https://docs.microsoft.com/en-us/windows/mixedreality/develop/unity/playground-tutorial 2022/7/20 Copyright © 2022 Takahiro Miyaura 13

• https://docs.microsoft.com/en-us/windows/mixed-

Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 14

Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 15

Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 16

Zappy’s Playground チュートリアルはこんな感じ + 体験できる機能 2022/7/20 Copyright © 2022 Takahiro Miyaura 17

Zappy’s Playground HoloLens 2で動かした場合 プレイエリアの設定ができます。 空間スキャン → Scene Understandingでいい空間か判断 →Azure Spatial Anchorsで固定 2022/7/20 Copyright © 2022 Takahiro Miyaura 18

Zappy’s Playground HoloLens 2で動かした場合 GazeとHand Menuも使えます。 Input Simulatorで Shift+Fで手のひら返せるよ！ 空間スキャン → Scene Understandingでいい空間か判断 →Azure Spatial Anchorsで固定 2022/7/20 Copyright © 2022 Takahiro Miyaura 19

Zappy’s Playground HoloLens 2で動かした場合 Themingもできますよ。 Input Simulatorで Tで左手の手のひらを返した状態で手が固定（右手はYです） Tを押して左手のハンドメニュー出しつつ スペースキーで右手を出してメニューを操作！ 2022/7/20 Copyright © 2022 Takahiro Miyaura 20

以上！ 2022/7/20 Copyright © 2022 Takahiro Miyaura 21

まとめ ◼ Mixed Reality Toolkit 3の概要 ◼ Zappy‘s Playground ✓ 体験はよくできてます。面白いですよ。 ✓ HoloLens 2 / Oculus Quest 2どっちでも遊べるよ。 ✓ MRTK3の色々な機能を試せるし、実装も確認できますよ。 ✓ 実は地味に日本語化してあります、今日のアプリ （今後、プルリクエストしようかな） 2022/7/20 Copyright © 2022 Takahiro Miyaura 22

MRTK3に関する情報 ◼ Github - Mixed Reality Toolkit 3 ✓ https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3 ◼ MTRK3ドキュメント ✓ https://aka.ms/mrtk3 ◼ MRTK3 Tutorial : "Zappy's Playground" ✓ https://aka.ms/ZappysPlayground ◼ Mixed Reality Dev Days 2022 ✓ 再生リスト:https://www.youtube.com/watch?v=U1BSqLbW-PM&list=PLlrxD0HtieHhkPlibqfQf1pGvM0vLNPpL 1. Introducing MRTK3 – Shaping the future of the MR Developer Experience.(https://youtu.be/fjQFkeF-ZOM) →過去のMRTKの取組みから振返り、MRTK3がどういったコンセプトで今回作られたのか 2. Getting started with your first MRTK3 project(https://youtu.be/aVnwIq4VUcY) →MRTK3動かしてみようぜ 3. MRTK3 Interaction building blocks(https://youtu.be/naVziEJ-yDg) →MRTK3の入力系についての設計や構造 4. Building Rich UI for MR in MRTK3(https://youtu.be/g2HF5HMy-2c) →MRTK3の素敵なUIをどう構築しているか 5. Working with Dynamic Data and Theming in MRTK3(https://youtu.be/IiTpZ2ojyno) →データバインディングとテーマ制御について 6. Deploy Everywhere with OpenXR and MRTK3(https://youtu.be/LI6lyW9TG9o) →MRTK3のOpenXR対応で色々デバイスで動く話 2022/7/20 Copyright © 2022 Takahiro Miyaura 23

• https://github.com/microsoft/MixedRealityToolkit-Unity/tree/mrtk3
• https://aka.ms/mrtk3
• https://aka.ms/ZappysPlayground

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2022/7/20 Copyright © 2022 Takahiro Miyaura 24