【続】OpenXRでHoloLensアプリを作る

3.1K Views

May 18, 22

#openxr #hololens #xrmtg #OpenXR #HoloLens #ハンドトラッキング #Mixed Reality Toolkit #Unity

スライド概要

XRミーティング 2022/05/18登壇資料(https://osaka-driven-dev.connpass.com/event/246954/)。OpenXRでHoloLens 2の機能（特にハンドトラッキング）を利用する方法について調べた話を共有。サンプルなどはMixed Reality OpenXR Pluginのサンプルアプリが参考になります（https://github.com/microsoft/OpenXR-Unity-MixedReality-Samples）

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 1.73MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 23K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 12K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 10.2K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.5K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 8.1K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.7K

各ページのテキスト

【続】OpenXRでHoloLensアプリを作る 2022/04 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・最近はこちらに Come Back気味と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

https://qiita.com/miyaura

https://www.khronos.org/openxr/

Mixed Reality Toolkit V3について ◼ 詳細が知りたい人はアーカイブへ ✓Tokyo HoloLens ミートアップ vol.29 ~HoloLens日本上陸五周年記念！~ ◼ Microsoft YoonさんからのV3に関する情報 ✓ ✓ ✓ ✓ 経緯アーキテクチャーリリース計画 Etc… 動画を見たい方は・・・ HoloLens ミートアップのアーカイブは Conpass等で後日共有予定 2022/01/19 Copyright © 2022 Takahiro Miyaura 7

Mixed Reality Toolkit V3について - ロードマップ 2022年春～夏にPublic Preview→その後リリース予定 2022/01/19 Development Public Preview Now Spring/Summer ‘22 • Port core UX building blocks • Internal Validation • Performance Analysis • OpenXR • New Architecture based on XRI • New Mixed Reality Design Language • Independent Subsystems • UI Theme System • Data Binding • Collection Navigator • Volumetric Layout Tools Copyright © 2022 Takahiro Miyaura Public Contributions 8

Mixed Reality Toolkit V3について - アーキテクチャフィードバックと業界標準のサポート ○非MRTKのコードと容易に統合可能 ○独立したサブシステム ○MRTK V2を使いながらMRTK V3へ移行が可能 ○エンタープライズ規模に対応したコンポーネント ○トクロスプラットフォームデバイスのサポー ○業界標準のサポート(最小要件の変更) Unity XR Interaction Toolkit（XRI） xRデバイスとコンテンツのInteraction を抽象化しデバイス固有の実装を隠蔽かすることでクロスプラットフォーム開発を支援するための開発キット 2022/01/19 OpenXR Unity 2020.3 LTS xRコンテンツ開発を簡素化することを目的としたクロスプラットフォームXR 体験を実現するための仕様およびSDK xRコンテンツ開発を実現する3D開発プラットフォーム Copyright © 2022 Takahiro Miyaura 9

10.

11.

12.

神戸のミートアップで ◼ 詳細が知りたい人はアーカイブへ ✓ Kobe HoloLens ミートアップ vol.5 - 春休みスペシャル ◼ 多彩な内容 ✓ ✓ ✓ ✓ Microsoft Meshの話入門者向けHoloLens開発 OpenXRな話 Etc… 動画を見たい方は・・・ youtubeでどうぞ！ 2022/01/19 Copyright © 2022 Takahiro Miyaura 12

13.

14.

15.

16.

17.

[beta]

OpenXR Unity拡張のハンドトラッキング
◼ UnityEngine.XR名前空間のクラスを利用
List<InputDevice> inputDeviceList = new List<InputDevice>();
InputDevices.GetDevicesWithCharacteristics(
InputDeviceCharacteristics.HandTracking | InputDeviceCharacteristics.Left
コントローラとして左手ハンドトラッキングのリストをデバイスとして取得
, inputDeviceList);
UnityEngine.XR.Hand xrHand = default;
foreach (InputDevice device in inputDeviceList)
{
if (device.TryGetFeatureValue(CommonUsages.isTracked, out bool isTracked)
&& isTracked
&& device.TryGetFeatureValue(CommonUsages.handData, out xrHand))
{
break;
}
検出したデバイスの値が取得可能かチェック
}
2022/10/24

Copyright © 2022 Takahiro Miyaura

17

18.

OpenXR Unity拡張のハンドトラッキング ◼ UnityEngine.XR名前空間のクラスを利用 xrHand.TryGetRootBone(out Bone palm); //Palmの情報を取得 palm.TryGetPosition(out Vector3 position); //Palmの座標を取得 palm.TryGetRotation(out Quaternion rotation); //Palmの回転を取得 List<Bone> fingerBones = new List<Bone>(); xrHand.TryGetFingerBones(HandFinger.Thumb, fingerBones);// 指の関節情報を取得 fingerBones[0].TryGetPosition(out Vector3 position); //指の関節の座標を取得 fingerBones[0].TryGetRotation(out Quaternion rotation); //指の関節の回転を取得 2022/10/24 Copyright © 2022 Takahiro Miyaura 18

19.

OpenXR(Microsoft拡張)のハンドトラッキング ◼ Microsoft.MixedReality.OpenXR名前空間を利用 ✓Microsoft.MixedReality.OpenXR.HandTracker ◼ 手の関節部分の位置と回転を取得 ✓ HandMeshTracker.Left. TryLocateHandJoints( FrameTime.OnUpdate, // 更新のタイミング new HandJointLocation[HandTracker.JointCount] // ジョイント数に応じた情報 ) 2022/10/24 Copyright © 2022 Takahiro Miyaura 19

20.

OpenXR（Microsoft拡張）のHandMesh ◼ Microsoft.MixedReality.OpenXR名前空間を利用 ✓Microsoft.MixedReality.OpenXR.HandMeshTracker ◼ 手の形状をMeshとして取得 ✓ HandMeshTracker.Left.TryGetHandMesh(FrameTime.OnUpdate, mesh) ✓ HandMeshTracker.Right.TryGetHandMesh(FrameTime.OnUpdate, mesh) ◼ 手の位置と回転を取得 ✓ HandMeshTracker.Left.TryLocateHandMesh(FrameTime.OnUpdate, out Pose pose) ✓ HandMeshTracker.Right.TryLocateHandMesh(FrameTime.OnUpdate, out Pose pose) 2022/10/24 Copyright © 2022 Takahiro Miyaura 20

21.

22.

23.

24.

実はMicrosoft DocsとGithubにサンプルがある ◼ 最初に見つければよかった。。。 ✓ https://github.com/microsoft/OpenXR-Unity-MixedReality-Samples ◼ 充実のサンプル ✓ハンドトラッキング ✓ハンドレイ ✓アイトラッキング ✓空間認識 ✓メッシュ ✓Scene Understanding的な ✓つかむ操作 ✓Etc… 2022/10/24 Copyright © 2022 Takahiro Miyaura 24

https://github.com/microsoft/OpenXR-Unity-MixedReality-Samples

25.

26.

お題 ◼ OpenXRでハンドトラッキングする ✓ OpenXRのMicrosoft拡張/Unity拡張で対応可能 ※HoloLens 2用のハンドトラッキングのため標準ではなく、MS拡張扱い ✓ 他のHoloLens機能もOpenXR標準、Microsoft拡張で対応可 ✓空間認識はAR Foundation経由で利用 ✓ GithubにOpenXR/Microsoft拡張用のサンプルがある！次のMixed Reality Toolkitに備えたり、独自に実装したいことがあるときはOpenXRも調べてみてね。 2022/10/24 Copyright © 2022 Takahiro Miyaura 26

27.