XRKaigi登壇裏話

XR Kaigi登壇裏話 2023/12 XR ミーティング @takabrz1 Takahiro Miyaura

XR Kaigi 2023とは 2023/12/20 Copyright © 2023 Takahiro Miyaura 2

年末に開催される日本最大級のXRカンファレンス 去年からはオフラインの展示とオンライン中心のセション https://www.xrkaigi.com/ 実は、コミュニティセッション含めると全ての回で何か登壇してる 2023/12/20 Copyright © 2023 Takahiro Miyaura 3

• https://www.xrkaigi.com/

年末に開催される日本最大級のXRカンファレンス 今年はこのテーマで登壇 2023/12/20 Copyright © 2023 Takahiro Miyaura 4

今日はこの登壇準備の裏話 2023/12/20 Copyright © 2023 Takahiro Miyaura 5

Microsoft MVP for Mixed Reality 2018-2024 XRは趣味です 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

目次 ○経緯 ✓ このテーマにした理由？ ○MRTK3とデバイス固有機能を使う困ったポイント色々 1. Lenovo VRXにデプロイするのって・・・ 2. Lenovoシリーズのプレイ動画・・・ 3. Meta Quest 3はとても強引になる・・・ 4. 番外編：届けMagic Leap 2

経緯 2023/12/20 Copyright © 2023 Takahiro Miyaura 8

Mixed Reality Toolkit 3で何か話そうと MRTK3 が9月GAされたんですよね。 「最近のLenovoデバイス含めてMRTK3を試せるデバイスも色々あ るしクロスプラットフォーム開発の検証として登壇しよう」 でもMRTK3使って動かすだけなら多分そんなに難しくない （動くかどうか別にして） MRTK3でUI作る ＆ デバイス固有機能群の組合せは？ ○ MRTK3で各デバイスSDKの機能使ってうまくいく？いかない？は 検証としても意義がありそう 2023/12/20 Copyright © 2023 Takahiro Miyaura 9

ちなみに MRTK3とサポートデバイス 2023/12/20 Copyright © 2023 Takahiro Miyaura 10

Mixed Reality Toolkit 3(MRTK3)とは 最近の状況 Microsoft, Qualcomm, Magic Leapの3社による独立したOSSプロジェクト 独立したプロジェクトとして新たなスタート & GA 「MRTK」がプロジェクトとして独立、運営にMagic Leapとクアルコム参 画へ(MoguraVR – 2023/08/31) https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/ ○Unity向け ○クロスプラットフォーム ○最新バージョンはv3.0.0 Microsoft, Qualcomm, Magic Leap の3社運営 ✓基本コンポーネント ✓共通のインタラクション ✓UIコントロール 2023/12/20 Copyright © 2023 Takahiro Miyaura 11

• https://www.moguravr.com/mrtk-independence-qualcomm-magicleap-join/

Mixed Reality Toolkit 3 機能 – サポートデバイス MRTK3のリポジトリから抜粋 Platform Supported Devices OpenXR devices Windows • • • • • • • Microsoft HoloLens 2 Magic Leap 2 Meta Quest 1/2 Windows Mixed Reality (experimental) SteamVR (experimental) Oculus Rift on OpenXR (experimental) Varjo XR-3 (experimental) If your OpenXR device already works with MRTK3, let us know! Traditional flat-screen desktop (experimental) And more coming soon! リストにはないですがLenovo ThinkReality A3,VRXでも使える ※OpenXRサポートしていればおおむね動かせる（はず） 2023/12/20 Copyright © 2023 Takahiro Miyaura 12

目次 ○経緯 ✓ このテーマにした理由？ ○MRTK3とデバイス固有機能を使う困ったポイント3選 1. Lenovo VRXにデプロイするのって・・・ 2. Lenovoシリーズのプレイ動画・・・ 3. Quest 3の機能 × MRTK3はとても強引？・・・ 4. 番外編：届けMagic Leap 2

VRXにデプロイするって・・・ 2023/12/20 Copyright © 2023 Takahiro Miyaura 14

1. Lenovo VRXにデプロイするって・・・ VRXはAndroidベースなのでAPKをインストールすればいい そのままだと どうやってするか さっぱりワカラナイ・・・ APKをインストールすればいいのはわかる けど、実機に入れる方法がね・・・ 2023/12/20 Copyright © 2023 Takahiro Miyaura 15

1. Lenovo VRXにデプロイするって・・・ VRXはAndroidベースなのでAPKをインストールすればいい Androidあるある対応が必要だった OSバージョンのところ何回クリックすると解放されるアレ まさかXRデバイスでこの操作することになるとは。。。 そして後から公式サイトにも書かれているのを発見 でもねこのサイトってLenovoのサポート集で頑張らないと見つからないと思う、多分(´・ω・｀) VRXを触る人に朗報です！ここを見ればVRXにAPKデプロイできます！ https://support.lenovo.com/id/en/solutions/ht515762-developer-mode-feature-lenovo-thinkreality-vrx-headset 2023/12/20 Copyright © 2023 Takahiro Miyaura 16

• https://support.lenovo.com/id/en/solutions/ht515762-developer-mode-feature-lenovo-thinkreality-vrx-headset

Lenovoシリーズのプレイ動画・・・ 2023/12/20 Copyright © 2023 Takahiro Miyaura 17

2. Lenovoシリーズのプレイ動画・・・ こういう感じで撮れます 2023/12/20 Copyright © 2023 Takahiro Miyaura 18

2. Lenovoシリーズのプレイ動画・・・ なんていうか色々微妙（＝良さを伝えられない・・・） ○ThinkReality A3 ○TR Castと呼ばれるストリーミングツールでARグラス視点の映像は撮れる。。 ○どうしたら？っていう位にきれいにとれない。 カクツク、ネット接続切れる・・・ ○VRX ○公式で提供されていないｗ ○公式で紹介されているのはAndroidの画面をストリーミングでPC表示するもの ○これ使うと2眼タイプの動画になる。。。 ちょっと検証動画流したいのにこれはキツイ・・・ ※なお、VRXはあきらめて2眼で流しました。 2023/12/20 Copyright © 2023 Takahiro Miyaura 19

2. Lenovoシリーズのプレイ動画・・・ ThinkReality A3は検証ついでにSnapdragon Spacesの機能で対応 Dual Render FusionとCamera Accessの合わせ技 ○Dual Render Fusion ○Snapdragon Spacesのアプリをスマホアプリとしても利用できるようにする仕組み ○スマホ画面も描画領域として利用可能、ARグラスと同じコンテンツも描画 ○Camera Access ○ThinkReality A3のARグラスについてるRGBカメラ映像を撮る機能 Camera Accessで現実の映像を背景にしてデジタルコン テンツをDual Render Fusionでスマホ画面に出力 スマホ画面を録画すればOKでは。。。 2023/12/20 Copyright © 2023 Takahiro Miyaura 20

実装に関係するものを模式図にすると・・・ Unity Render Texture Raw Imageに描画 仮想カメラ Raw Image② スマホ画面に描画 ARグラスに投影す るコンテンツ ARグラスに描画 Raw Image① ARグラス GRBカメラ映像 ARグラスのRGBカメラ の上にコンテンツを合 成 RGBカメラ映像と コンテンツを合成 2023/12/20 ThinkReality A3 スクリプトで Raw Imageに描画 Copyright © 2023 Takahiro Miyaura 21

記事としてまとめました。 【XR Kaigi 2023解説用】MRTK3と空間マッピング, Dual Render Fusionを使ったコンテンツ作成（ Lenovo ThinkReality A3向け） スマホ画面にキャプチャ風映像出す実装は記事として残しています。 Mixed Reality Toolkit V3.0.0がGAされたので情報を整 理した https://qiita.com/miyaura/items/be7e1ad2450d7aeff072 2023/12/20 Copyright © 2023 Takahiro Miyaura 22

• https://qiita.com/miyaura/items/be7e1ad2450d7aeff072

Quest 3の機能 × MRTK3はとても強引？・・・ 2023/12/20 Copyright © 2023 Takahiro Miyaura 23

3. Quest 3の機能 × MRTK3はとても強引？・・・ Quest 3の機能を使うためにMeta XR SDKいれると。。。 XR Plug-in ManagementでOculusにチェックを入れろと言われる。 MRTK3使う場合はOpenXR指定が必要なので・・・ 何かするとき（Play Mode実行、Platform切替え等）督促される 出てきたらキャンセル 督促はされるけどそのままでもMRTK3もMeta Quest 3の 機能もちゃんと使えます。 2023/12/20 Copyright © 2023 Takahiro Miyaura 24

番外編：届けMagic Leap2 HoloLens以外でMRTK3対応してるのMagic Leap2だけな気がする ◼現状各デバイスの固有の機能はOpenXR拡張になっている ◼ThinkReality A3やQuest 3はMicrosoft Mixed Reality OpenXR Pluginの汎用的 なハンドトラッキング機能などを利用している （これはプラグイン的には互換性のために残っている） ◼Magic Leap2はこの辺りをちゃんと作りこんだ部品が提供されている （ように見える） 会社で買えることになった・・・ が、社内の事務処理がなかなか進まず、 今回の登壇には間に合わなかった(´・ω・｀) 2023/12/20 Copyright © 2023 Takahiro Miyaura 25

ということで、 色々解決しながら登壇しました。 ご清聴ありがとうございました。 よいお年を！ 2023/12/20 Copyright © 2023 Takahiro Miyaura 26

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ