デバイスの特徴を活かしたXRコンテンツ開発(Lenovo ThinkReality A3編)

1.4K Views

September 28, 23

#mixed reality #snapdragon spaces #XR #Mixed Reality #Lenovo ThinkReality A3 #Snapdragon Spaces #Content Development

スライド概要

【大阪】XR何でも開発勉強/体験会(https://osaka-driven-dev.connpass.com/event/294825/)
登壇資料。XRデバイスのハードの仕様をうまく使えるThinkReality A3の話について。ARグラス＋スマホ両方を活用してコンテンツを作成できる #SnapdragonSpaces のDual Render Fusionを例に紹介。

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 1.17MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 23K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 12K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 10.2K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.5K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 8.1K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.7K

各ページのテキスト

デバイスの特徴を活かしたXRコンテンツ開発 (Lenovo ThinkReality A3編) 2023/09 XR何でも開発勉強/体験会 @takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2024 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit v3.0.0(GAされた！) Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

Lenovoの手がけるARグラスいわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/19 Copyright © 2023 Takahiro Miyaura 6

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービスマートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション開発・商用化を支援するプラットフォーム基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/10/19 Copyright © 2023 Takahiro Miyaura 7

Lenovoの手がけるARグラスいわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support ARグラス＋スマホ体験時にスマホはどう使うと思います？スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/10/19 Copyright © 2023 Takahiro Miyaura 8

一般的なARグラスでコンテンツ作った場合 Snapdragon Spacesの場合、コントローラは独立したネイティブアプリ Smart Phone ARグラス Motion Controller (OpenXR) 操作をコンテンツに反映 Smart Phoneでネイティブアプリを実行し 3Dofモーションコントローラ化 2023/10/19 Copyright © 2023 Takahiro Miyaura Smart Phone タッチパッド操作 9

10.

11.

Snapdragon Spaces Dual Render Fusionとは Smart Phone接続型のARグラス向けの機能（ヘッドセット向けではない） ○Dual Render Fusion ２つの描画を融合する 1つのコンテンツ Smart Phoneの画面描画とARグラスの空間描画を１つのコンテンツの中で使える仕組み 2023/10/19 Copyright © 2023 Takahiro Miyaura 11

12.

Snapdragon Spaces Dual Render Fusionを使うと。。。 1つのUnityアプリとしてARグラスとSmart Phoneのディスプレイを使える ARグラス描画領域 1コンテンツで実装 Smart Phone描画領域 Smart Phone側もUnityで実装可能により柔軟なUIやUXを実現できる！ 2023/10/19 Copyright © 2023 Takahiro Miyaura 12

13.

Snapdragon Spaces Dual Render Fusionを使うと。。。スマホ画面とARグラスをコンテンツとして利用できる ○ 例えば。。。 ○普段はスマホアプリ、必要な時にARグラスで3Dコンテンツを見る ○ARコンテンツの補助情報や操作をスマホで行うヘッドセット型では作ることができないコンテンツ開発や体験が可能に 2023/10/19 Copyright © 2023 Takahiro Miyaura 13

14.

15.

16.

17.

18.

デバイスの特徴を活かしたXRコンテンツ開発 ✓ デバイスの特徴をうまく活用する ✓ ✓ デバイスの構成（HMD、スマホ接続、PC接続）毎に特徴がある入力インターフェースの違いも重要 ✓ 今回のデバイス「Lenovo ThinkReality A3」 ✓ ✓ スマホ接続型ARグラス Snapdragon Spacesが利用できる ✓ Dual Render Fusion（Snapdragon Spacesの面白い機能の1つ） ✓ ✓ ✓ ARグラスとSmart Phoneの描画を1つのコンテンツとして扱えるスマホのアプリとして使うことも可能必要な時だけThink Reality A3をつないでARアプリ体験も可能持っている（使える）デバイスの特徴を踏まえて作ると様々なコンテンツで面白い体験を実現できるのでは！？ 2023/10/19 Copyright © 2023 Takahiro Miyaura 18

19.

大阪駆動開発関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ