20231023_MRTK3がGA&ちょっと試してみた

MRTK3がGA& ちょっと試してみた 2023/10 Tokyo HoloLens ミートアップ Vol.34 @takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2024 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

小ネタ 2023/10/23 Copyright © 2023 Takahiro Miyaura 3

Microsoft Mesh プレビュー版でたよ Microsoft Mesh = 新しい3D没入型体験を実現する仕組み 先日大阪駆動開発のイベント「XRミーティング」で解説 https://osaka-driven-dev.connpass.com/event/297675/ その日話した資料 ○ Microsoft Meshについて - プレビュー版やドキュメントが出て きたのでその情報整理 https://www.docswell.com/s/m-taka596/5M13WX-XRMTG-MicrosoftMesh-20231019 https://www.youtube.com/watch?v=F20vm7GjTmU 調査用スクラップ ○ Microsoft Mesh関連の話。色々情報飛び交うから備忘録。 https://zenn.dev/miyaura/scraps/94f243e3be40a6 2023/10/23 Copyright © 2023 Takahiro Miyaura 4

• https://osaka-driven-dev.connpass.com/event/297675/
• https://www.docswell.com/s/m-taka596/5M13WX-XRMTG-MicrosoftMesh-20231019
• https://zenn.dev/miyaura/scraps/94f243e3be40a6
• https://www.youtube.com/watch?v=F20vm7GjTmU

MRTK3がGA & ちょっと試してみた 2023/10/23 Copyright © 2023 Takahiro Miyaura 5

Mixed Reality Toolkit 3 もしかしたら MRTK v3になるのかも？ Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはV2.8.3 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/10/23 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Pre.18 Copyright © 2023 Takahiro Miyaura 6

Mixed Reality Toolkit 3 もしかしたら MRTK v3になるのかも？ Unity向けのOSSライブラリ Holotoolkit HoloLens向け ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール ※Unreal向けのMRTKもあります ※実はBabylon.js版もあります ※Magic Leap 2拡張版もあります 2023/10/23 Mixed Reality Toolkit Windows Mixed Reality Devices対応 Mixed Reality Toolkit V2 HoloLens 1/2,VR Devices,Mobile AR… Mixed Reality Toolkit 3 Pre.18 Mixed Reality Toolkit 3 ←イマココ v3.0.0 GA! 2023.9.6 Copyright © 2023 Takahiro Miyaura 7

Mixed Reality Toolkitの最近 2023/10/23 Copyright © 2023 Takahiro Miyaura 8

Mixed Reality Toolkitの最近 3社による独立した運営 Microsoft, Qualcomm, Magic Leapの3社による独立したプロジェクトに きっかけはMicrosoft社のレイオフ マイクロソフトがMRTK開発チームを解散し「AltspaceVR」シャットダウ ン、今後は「Microsoft Mesh」にシフトか(MoguraVR – 2023/01/25) https://www.moguravr.com/microsoft-mrtk-team-dissolve/ ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 MRTK Devチームの解散によりMicrosoft主導によるプロジェクト運 営ではなくOSSとして整備が進むようになる。 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール 2023/10/23 Copyright © 2023 Takahiro Miyaura 9

• https://www.moguravr.com/microsoft-mrtk-team-dissolve/

Mixed Reality Toolkitの最近 3社による独立した運営 Microsoft, Qualcomm, Magic Leapの3社による独立したプロジェクトに きっかけはMicrosoft社のレイオフ マイクロソフトがMRTK開発チームを解散し「AltspaceVR」シャットダウ ン、今後は「Microsoft Mesh」にシフトか(MoguraVR – 2023/01/25) https://www.moguravr.com/microsoft-mrtk-team-dissolve/ ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール MRTK Devチームの解散によりMicrosoft主導によるプロジェクト運 営ではなくOSSとして整備が進むようになる。 独立したプロジェクトとして新たなスタート 「MRTK」がプロジェクトとして独立、運営にMagic Leapとクアルコム参 画へ(MoguraVR – 2023/08/31) https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/ Microsoft, Qualcomm, Magic Leap の3社運営 2023/10/23 Copyright © 2023 Takahiro Miyaura 10

• https://www.moguravr.com/microsoft-mrtk-team-dissolve/
• https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/

Mixed Reality Toolkitの最近 関連ニュース Microsoft, Magic Leap, Qualcomm MicrosoftのTech Communityブログ Microsoft Mixed Reality Toolkit 3 (MRTK3) moves to an independent organization within GitHub(Microsoft Tech Community – 2023/08/21) https://techcommunity.microsoft.com/t5/mixed-reality-blog/microsoft-mixed-reality-toolkit-3-mrtk3-moves-to-an-independent/ba-p/3898941 Magic Leapのプレスリリース Magic Leap Joins MRTK Steering Committee alongside Microsoft and Qualcomm Technologies(Magic Leap Newsroom – 2023/08/21) https://www.magicleap.com/news/magic-leap-joins-mrtk-steering-committee-alongside-microsoft-and-qualcomm Qualcommは今回の件で特にアナウンスは出していない。 ただ、過去Qualcomm主催のSnapdragon Spaces summitでMRTK3との協業の話をしている https://www.youtube.com/watch?v=V1d_FRnU70g 2023/10/23 Copyright © 2023 Takahiro Miyaura 11

• https://techcommunity.microsoft.com/t5/mixed-reality-blog/microsoft-mixed-reality-toolkit-3-mrtk3-moves-to-an-independent/ba-p/3898941
• https://www.magicleap.com/news/magic-leap-joins-mrtk-steering-committee-alongside-microsoft-and-qualcomm
• https://www.youtube.com/watch?v=V1d_FRnU70g

変わったこと。 2023/10/23 Copyright © 2023 Takahiro Miyaura 12

変わったこと 独立したプロジェクトになったことによる変更 ○ Githubリポジトリ ○ 元々あったMRTKのプロジェクトから「mrtk3」ブランだけ移管 ○ 新しいリポジトリ https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity ※プロジェクト名が同じなのでForkが地味に困るw ○ MRTK V2等旧バージョンはこれまでのMRTKプロジェクトのまま(おそらく) https://github.com/microsoft/MixedRealityToolkit-Unity ○ パッケージ名 ○ 旧：com.microsoft.mixedrealitytoolkit.XXXX 新:org.mixedrealitytoolkit.XXXX ○ 名前空間 ○ 旧：Microsoft.MixedReality.Toolkit.XXXX 新:MixedReality.Toolkit.XXXX 2023/10/23 Copyright © 2023 Takahiro Miyaura 13

• https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity
• https://github.com/microsoft/MixedRealityToolkit-Unity

記事としてまとめました。 Mixed Reality Toolkit V3.0.0がGAされたので情報を整理した 今日説明した話等を整理しています。 Mixed Reality Toolkit V3.0.0がGAされたので情報を整 理した https://qiita.com/miyaura/items/a36d89a8e708d1bcd722 2023/10/23 Copyright © 2023 Takahiro Miyaura 14

• https://qiita.com/miyaura/items/a36d89a8e708d1bcd722

注意が必要なこと 2023/10/23 Copyright © 2023 Takahiro Miyaura 15

ずっとMRTK見てる人視点 MRTK3にこんな印象持ってます。 ○ 基本的にはMRTK V2の知識がそのまま使える ○ コンポーネント名やパラメータはおおむね同じ名前で移行 ○ MRTK V2の機能がすべて移行されてはいない ○ 機能レベルではほぼ同じだが、細やかな機能がない状態 例：PressableButtonのラベルやアイコン変更は各子コンポーネントで ○ サポートデバイスはV2の頃のよりは追加が楽かも？ ○ デバイスがOpenXRにさえ対応していればだいたい動く ○ 使いこなせると便利な新機能もあるよ ○ UGUIベース部品、Data Binding、テーマ変更、アクセシビリティ… 2023/10/23 Copyright © 2023 Takahiro Miyaura 16

今後の話 先日のXR ミーティングでホロ元さんから教えてもらった 新規はMRTK3、既存V2やモバイルはMRTKV2かな…とのこと ○ 今後の最新メンテはMRTK3 ○ MRTKを利用している他OSSも順次MRTK3へ移行（主にサンプル） ○ OpenXR対応であれば今後リリースされるデバイスでも対応できる ○ MRTK V2 ○ バグなどはOSSとして対応 ○ OpenXRのサポートがないモバイル系はV2(今のところかな？） 2023/10/23 Copyright © 2023 Takahiro Miyaura 17

以上 2023/10/23 Copyright © 2023 Takahiro Miyaura 18

ちょっと試してみた 2023/10/23 Copyright © 2023 Takahiro Miyaura 19

HoloLens 2では動くので今日は 他の奴でやってみました。 2023/10/23 Copyright © 2023 Takahiro Miyaura 20

Lenovo ThinkReality A3 エンタープライズ向けのARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/23 Copyright © 2023 Takahiro Miyaura 21

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/10/23 Copyright © 2023 Takahiro Miyaura 22

そして MRTK3とSnapdragon Spacesは共存できる 2023/10/23 Copyright © 2023 Takahiro Miyaura 23

使用例 Snapdragon Spaces × Dual Render Fusion × MRTK3検証 アプリケーションのUIとして。。。 2023/10/23 Copyright © 2023 Takahiro Miyaura 24

まとめ 2023/10/23 Copyright © 2023 Takahiro Miyaura 25

まとめ MRTK v3.0.0 GAの話とMRTK3 UX Components – Dialog ✓ MRTK3について ✓ ✓ ✓ 9月にGA Microsoft社の1社体制から Qualcomm, Magic Leapを加えた3社独立プロジェクトに MRTK3のみ別のgithubで管理 https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity ✓ ちょっとためしてみた話 ✓ ✓ HoloLens 2ももちろん動きますよ Snapdragon Spaces × GA されたMRTK3は問題なさそう 祝 Mixed Reality Toolkit 3 GA! 2023/10/23 Copyright © 2023 Takahiro Miyaura 26

• https://github.com/MixedRealityToolkit/MixedRealityToolkit-Unity

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ