OpenVRやOpenXRの基本的なことを調べてみた

23K Views

April 22, 22

#xrmtg #openxr #openvr #hololens #XR #OpenVR #OpenXR #Unity #クロスプラットフォーム開発

スライド概要

XRミーティング 2022/04/20【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/244101/)登壇資料。
XRコンテンツ開発を容易にするための標準規格について調べてみた話。OpenVRを使いたいときにそれ自体のSDKがあるのかわからなくて基本的なことを調査した。

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.21MB)

関連スライド

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 12K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 10.2K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.5K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 8.1K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.7K

Mixed Reality Toolkit で OpenXRのEye Trackingを使う

hololens openxr

Miyaura 7K

各ページのテキスト

OpenVRやOpenXRの基本的なことを調べてみた 2022/04 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・最近はこちらに Come Back気味と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

https://qiita.com/miyaura

10.

OpenVRとは ◼ デバイス固有部分を抽象化→コンテンツ開発を統一 ○SteamVRはさらにSteam上で販売されるVRコンテンツを共通的に扱う仕組みも含んでる VRコンテンツ VIVE用コード VRコンテンツ Meta用コード OpenVR (インターフェース) VIVE用 SDK 2022/10/24 Meta Quest用 SDK VIVE用 SDK Copyright © 2022 Takahiro Miyaura アプリ開発者 OpenVRの元で開発するだけデバイスメーカー OpenVR仕様のSDK等を提供 Meta Quest用 SDK 10

11.

12.

13.

14.

15.

https://www.khronos.org/openxr/

16.

17.

例えば何をやってくれるのかこいつら例：装着者の移動(6Degree Of Freedom=DoF) ○ほげほげDoF ○3次元軸(xyz)に対する変異の自由度数 ○回転3軸 = 3Dof ○回転3軸+移動3軸 = 6Dof ○アウトサイドイン方式 ○外部センサでトラッキング ○インサイドアウト方式 ○内蔵センサでトラッキング 2022/10/24 Copyright © 2022 Takahiro Miyaura 17

18.

例えば何をやってくれるのかこいつら例：装着者の移動(6Degree Of Freedom=DoF) ○ほげほげDoF ○3次元軸(xyz)に対する変異の自由度数 ○回転3軸 = 3Dof ○回転3軸+移動3軸 = 6Dof ○アウトサイドイン方式 ○外部センサでトラッキング違いを吸収してくれる優れもの ○インサイドアウト方式 ○内蔵センサでトラッキング 2022/10/24 Copyright © 2022 Takahiro Miyaura 18

19.

20.

OpenXRだけでコンテンツ作る環境今回は以下の環境 ◼ Unity 2020.3.8f1 ✓ OpenXR Plugin 1.3.1 ◼ HoloLens 2だと以下も必要 ✓ Microsoft OpenXR Plugin 1.3.1 ※Mixed Reality Feature Toolでセットアップ ✓ Visual Studio 2019(HoloLens はWindows OSなのでUWP) UnityではOpenXRを使うための便利機能もあるよ 2022/10/24 Copyright © 2022 Takahiro Miyaura 20

21.

OpenXRだけでコンテンツ作るカメラ6DOF設定の例 Tracked Pose Driver(New Input System)をMainCameraに追加 Position Actionに devicePosition [OpenXR HMD]を設定 Rotation Actionに deviceRotation [OpenXR HMD]を設定 Tracked Pose Driverを追加するとデバイスの情報がオブジェクトに反映 OpenXR HMDなので頭の動きに追従 2022/10/24 Copyright © 2022 Takahiro Miyaura 21

22.

OpenXRだけでコンテンツ作るアクションの定義 Player Inputを利用デバイス操作から必要なものをアクションとして定義アクションに対応する処理を処理するメソッドを関連付けるタップ操作でイベントを起こす場合 Input Action AssetにSelectPressedをアクションとして定義する 2022/10/24 Copyright © 2022 Takahiro Miyaura 22

23.

24.

OpenXRだけでコンテンツ作る色々頑張るといつものあれができます！ ◼ 割り当てたアクション ✓ ✓ ✓ ✓ Head Position(6DOF) ハンドトラッキング（Palmのみ）ハンドレイタップ操作でのアクション ◼ 実装例 ✓ ハンドレイでフォーカス、タップでオブジェクトの色変更 ✓ 空間でタップすると豆腐が生み出される 2022/10/24 Copyright © 2022 Takahiro Miyaura 24

25.

26.

おまけ Mixed Reality Toolkit(MRTK)の次期版も。。。 OpenXRやXR Interaction Toolkitがベースになるようです ○非MRTKのコードと容易に統合可能 ○独立したサブシステム ○MRTK V2を使いながらMRTK V3へ移行が可能 ○エンタープライズ規模に対応したコンポーネント ○トクロスプラットフォームデバイスのサポー ○業界標準のサポート(最小要件の変更) Unity XR Interaction Toolkit（XRI） xRデバイスとコンテンツのInteraction を抽象化しデバイス固有の実装を隠蔽かすることでクロスプラットフォーム開発を支援するための開発キット 2022/10/24 OpenXR Unity 2020.3 LTS xRコンテンツ開発を簡素化することを目的としたクロスプラットフォームXR 体験を実現するための仕様およびSDK xRコンテンツ開発を実現する3D開発プラットフォーム Copyright © 2022 Takahiro Miyaura 26

27.

28.

まとめ ◼ xR関連デバイスのアプリ開発の標準化について ✓ 標準化はVR系の方が先だった ✓ Steam中心でVR系の標準化が進んだ(StreamVR/OpenVR) ✓ 最近は徐々にOpenXRにシフトしていってるらみたい ✓ UnityだとOpenXRを使えば、クロスプラットフォーム化は容易 ✓ さらにXR Interaction Toolkit(XRI)も使うとより便利に ✓ HoloLensでよく使うMRTKでもOpenXRが今後はメインになりそう 2022/10/24 Copyright © 2022 Takahiro Miyaura 28

29.