Holographic Remoting調べてみてるよ

Holographic Remoting調べてみてるよ 2023/01 Tokyo HoloLens Meetup Vol.32 ～HoloLens日本上陸6周年記念!～ takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近はMixed Reality Toolkit 3と戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

冬休みの宿題やりましたか？ 2023/01/21 Copyright © 2023 Takahiro Miyaura 3

私はやっていました。 Lenovo Think Reality A3貸してもらったのでね。(岩本さんに感謝) Docs : 冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含) https://www.docswell.com/s/m-taka596/K9JEXZ-XRMTG-MRTK3SnapdragonSpaces_ThinkRealityA3_20230118 内容的には・・・ ○ Think Reality A3(Snapdragon Spaces)触ってみた ○ MRTK3でどこまでできるチャレンジ 2023/01/21 アーカイブ動画:XRミーティング 2023/01/18 https://youtu.be/ugVHxNRjad8?t=1873 Copyright © 2023 Takahiro Miyaura 4

• https://www.docswell.com/s/m-taka596/K9JEXZ-XRMTG-MRTK3-
• https://youtu.be/ugVHxNRjad8?t=1873

本題 Holographic Remoting調べてみてる ちなみに、まだ全然わかっていないですｗ 2023/01/21 Copyright © 2023 Takahiro Miyaura 5

Holographic Remoting PC側で描画した3DコンテンツをHoloLens等に描画する HoloLens等 Player側 PC remote側 2023/01/21 Copyright © 2023 Takahiro Miyaura 6

Holographic Remoting 別端末で描画したコンテンツをXRデバイスに転送し利用する仕組み 一般的な使い方はUnity Editor上で使う 2023/01/21 Copyright © 2023 Takahiro Miyaura 7

実はカスタマイズができる 2023/01/21 Copyright © 2023 Takahiro Miyaura 8

Holographic Remoting 2系統あります OpenXR API版とWindows Mixed Reality API版 OpenXR API ○OpenXR ○Holographic Remoting API Windows Mixed Reality API ○Windows SDK ○MR系のサブセット OpenXRのMicrosoft拡張機能 ○ Mixed Reality WinRT Projectionsは.Net Standardで作 られたUnity用の透過モジュール(いわゆるラッパー) ○ いわゆるWindows ネイティブ https://learn.microsoft.com/ja-jp/windows/mixedreality/develop/native/directx-developmentoverview?tabs=openxr 詳細はMicrosoft Docsに https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/native/holographic-remoting-overview 2023/01/21 Copyright © 2023 Takahiro Miyaura 9

• https://learn.microsoft.com/ja-jp/windows/mixed-
• https://learn.microsoft.com/ja-jp/windows/mixed-reality/develop/native/holographic-remoting-overview

Holographic Remoting 実はカスタマイズできる Remote側, Player側双方カスタマイズが可能 PC remote側 HoloLens等 Player側 Gitにサンプルもある https://github.com/microsoft/MixedReality-HolographicRemoting-Samples/tree/Version_2.8.1 2023/01/21 Copyright © 2023 Takahiro Miyaura 10

• https://github.com/microsoft/MixedReality-HolographicRemoting-Samples/tree/Version_2.8.1

Holographic Remoting 実はカスタマイズできる 開発はC++なのですがStereokitでRemote側作ろうとするプロジェクトは見つけた Gitはこちら https://github.com/StereoKit/StereoKit.HolographicRemoting 2023/01/21 Copyright © 2023 Takahiro Miyaura 11

• https://github.com/StereoKit/StereoKit.HolographicRemoting

Holographic Remoting カスタムすると使える機能 Player, Remoting双方をカスタムするときに便利なもの カスタムデータチャネル ○ストリーミングと別に送受信可能 ○コンテンツの裏側で使う制御系の 機能に使えそう 2023/01/21 座標系の同期 ○ユーザ座標系をRemote側で使える ○現実空間の決まった位置で Remotingのアプリを描画できる Copyright © 2023 Takahiro Miyaura 12

Holographic Remoting できること – ユーザ座標系 Player側のアプリで使う座標系をRemote側で逆引きして利用できる HoloLens側でPlayerで ストリーミングされてるコンテンツ PC側でRemoteで 表示してるコンテンツ 2023/01/21 Copyright © 2023 Takahiro Miyaura 13

Holographic Remoting できること – ユーザ座標系 Player側のアプリで使う座標系をRemote側で逆引きして利用できる Remote(PC)側の描画が ストリーミングされて描画 Remote(PC)側で HoloLensの座標系を参照して Remote(PC)側で描画 HoloLens側でPlayerで 生成したCube HoloLensの座標系(起動位置が原点) 青いCubeはPlayer(HoloLens)側で描画した ものなのでこちらには描画されない 2023/01/21 Copyright © 2023 Takahiro Miyaura 14

多分気になってるであろうあれ 2023/01/21 Copyright © 2023 Takahiro Miyaura 15

想像するに 他のXRデバイスでHolographic Remotingするには・・・ ○ Microsoft.Holographic.Remoting.OpenXrを作る しかないっぽいですよ(今調べた範囲では) ○ この機能はOpenXR APIのMicrosoft拡張機能(Notコア機能) ○ 拡張機能とは、ハードウェアソフトウェア機能のベンダーが独自に追加できる機能 ○ 何がOpenXR APIになって変わったの？ ○ OpenXRのインターフェース仕様で使える ○ 実際内部はWindows SDKのMixed Reality系ライブラリを使っているっぽい 2023/01/21 Copyright © 2023 Takahiro Miyaura 16

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 17

前夜祭で Think Reality A3 体験会もある！ 大阪駆動開発イベント告知！ 対象をHoloLens 2含むMRデバイスに広げました イベント名：Osaka MR ハッカソン2023 日程：チームビルド 2023年2月18日（土） 成果発表 2023年2月26日（日） ※2/18～2/25がハック期間！ 会場：オンライン(配信は大阪！） 成果発表は各地でパブリックビューイング予定 主催： 大阪駆動開発/HoloMagicians 地域コミュニティと協力開催 (DoMCN, 福岡XR部, XR信州) ハッカソン 申込み＆ 詳細はこちら MR ハッカソン前夜祭 Think Reality A3体験はこちら 共催：ユニティ・テクノロジーズ・ジャパン株式会社 協力：日本マイクロソフト株式会社など 2023/01/21 Copyright © 2023 Takahiro Miyaura 18