Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

Snapdragon Spaces v0.12.0 for Unityの調査 (あれも試してみてる) 2023/04 XRミーティング takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近は ✓ ✓ Mixed Reality Toolkit 3とか Snapdragon Spacesとか戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

本日の内容 えぇ、そうです 我慢できなかったので。。。 Lenovo Think Reality A3を手に入れて Snapdragon Spacesの調査環境整える。 2023/4/19 Copyright © 2023 Takahiro Miyaura 3

Lenovo Think Reality A3とは 2023/4/19 Copyright © 2023 Takahiro Miyaura 4

Lenovoの手がけるARグラス いわゆる投影部分が眼鏡型 Key Features: •Snapdragon XR-1 SmartView •Lightweight AR Glasses – <130g •Binocular 1080p resolution displays •8MP RGB Camera •Dual fish-eye cameras for 6DOF tracking •Integrated speakers and microphones •USB Type C, USB 3.1 •DisplayPort v1.4 compliant •Lenovo integrated solution support 同じような投影部分が眼鏡Nreal Light/Air ○ スマホや演算ユニットが別 スマホはMotorola製（開発キットに付属） Snapdragon SpacesというAR開発プラットフォーム対応機器という位置づけ 2023/4/19 Copyright © 2023 Takahiro Miyaura 5

Snapdragon Spaces 名前から想像される通りのクアルコムが手掛けるサービス マートフォン接続のARグラスのデバイス設計、ARグラス向け3Dアプリケーション 開発・商用化を支援するプラットフォーム 基本機能 ○ Positional Tracking 操作系 ○ Gaze Controller 環境(空間)認識 ○ Plane Detection ○ Local Spatial Anchors ○ Companion Controller ○ Image Tracking ○ Hit Testing ○ Hand Tracking ○ 6DOFによる自己位置推定 ○ 現実空間との位置合わせ ○ 現実空間とのオクルージョン等 ○ 頭の向きでフォーカスや決定 ○ スマホを3DOFコントローラ化 ○ 平面検知 ○ 画像マーカー ○ ハンドトラッキング OpenXR準拠のランタイムと様々なOpenXR拡張機能として提供されている 2023/4/19 Copyright © 2023 Takahiro Miyaura 6

Snapdragon Spaces NianticやKDDI,NTTコノキュー等も興味を示してるようで気になってる ◼Niantic ニュースでは。。。 ✓ Qualcommと現実世界のARをソフトウェア・ハードウェア両面からさらに加速 https://nianticlabs.com/news/snapdragon-spaces ⚫Niantic のLightshipビジュアルポジショニングシステム（VPS）が、 2023年に開始されるQualcommの「Snapdragon Spaces」と連携 ⚫両社は屋外用ARヘッドセットのリファレンスデザインについての 共通ビジョンを提示 引用:Niantic, “Qualcommと現実世界のARをソフトウェア・ハードウェア両面からさらに加速”, https://nianticlabs.com/news/snapdragon-spaces ◼IT mediaのニュースでは… ✓ Qualcomm、XRプラットフォーム「Snapdragon Spaces」でKDDIやNTTコノキューと協業 XiaomiやOPPOの対応製品も https://www.itmedia.co.jp/mobile/articles/2303/01/news150.html 2023/4/19 Copyright © 2023 Takahiro Miyaura 7

• https://nianticlabs.com/news/snapdragon-spaces
• https://www.itmedia.co.jp/mobile/articles/2303/01/news150.html

ということでSnapdragon Spacesの話 ＋MRTKのあれ 2023/4/19 Copyright © 2023 Takahiro Miyaura 8

Snapdragon Spaces V0.12.1 2023/04/03の変更 - Unity ○追加 ✓ Oculus Touchコントローラが、機能検証リストに追加。サンプルで保証するためにデフォルト は有効に。 ✓ Spaces Handコンポーネント(SDK内のハンドトラッキング機能)は非推奨 ✓ Hand Trackingサンプルは、QCHT Interactionパッケージのサンプル変更 ○変更 ✓ （VRX用）VRパススルーは、XボタンとAボタンでオンオフを切替え可能に ✓ Hit Testingの可視化の改善 ○修正 ✓ Spatial Meshing Subsystemで作成される空間メッシュの更新が可能 ※0.11.1ではフレームごとに追加/削除を繰り返していた ✓ 権限のチェックがAndroid 13で壊れないように改良 2023/4/19 Copyright © 2023 Takahiro Miyaura 9

Snapdragon Spaces V0.12.1 2023/04/03の変更 – Unreal Engine ○追加 ✓ ARキャプチャーモードとしてハンドトラッキングメッシュが追加、従来のハンドメッシュの 取得方法は非推奨 ✓ Unreal Engine 5.0をサポート（4系は4.27） ○変更 ✓ ヒットテストの可視化が改良されました。 ○修正 ✓ AR AnchorとRaycastに関する言及がブループリントから削除 ✓ Gaze は常に 3D コンテンツの上に描画 ✓ ヒットテストは、ヒット距離が無限大に設定されている場合、問題を起こさないように ✓ カメラフレームへのアクセスを改善し、特定の条件下でクラッシュしないように 2023/4/19 Copyright © 2023 Takahiro Miyaura 10

Snapdragon Spaces V0.12.1 Snapdragon Spaces Services ○追加 ✓Image Trackingの精度向上 左のtrackingカメラの代わりにRGBカメラを使用。これによりターゲットの認識と追跡距離が 何倍にも増加 ○修正 ✓ デバイスを長時間使用すると現れる可能性のある黒い線への対応 ✓ 面内回転を適用したときの歪みが表示されなくなりました。 ✓ レンダリングレイテンシーを改善し、コマ落ちを改善 2023/4/19 Copyright © 2023 Takahiro Miyaura 11

色々調べてみたところ・・・ 先月の受肉関連です 2023/4/19 Copyright © 2023 Takahiro Miyaura 12

QCHT ライブラリが 4.0.0-pre.9とはいかに ※QCHT= Qualcommのハンドトラッキングライブラリ 急にパッケージングがかわってる & preとは。。。 ○前バージョン付属(Snapdragon Spaces SDK 0.11.1) ✓ QCHT Unity Core Package (Version 3.2.5) ✓ QCHT Unity Interactions Package (Version 3.4.2) ✓ QCHT_Interaction_Samples_0_11_0.apk ※サンプル用APK ○今バージョン付属(Snapdragon Spaces SDK 0.12.1) ✓ QCHT Unity Interactions Package (Version 4.0.0-pre.9) 修正履歴には確かにパッケージの中にサンプルあるので APKは提供されていないんですが。。。 2023/4/19 Copyright © 2023 Takahiro Miyaura 13

QCHT Unity Interactions Package (Version 4.0.0-pre.9) でサンプルをビルドする正しい手順がどこにもないｗ 公式はまだ、3.4.2の話しか説明していない。 しかも、正しく動かすにはコツがいるｗ 2023/4/19 Copyright © 2023 Takahiro Miyaura 14

こういうのが試せます ARじゃないのは配慮です、いろいろ散らかってたので。。。。 2023/4/19 Copyright © 2023 Takahiro Miyaura 15

何とかビルドしました。 ○ 必要なパッケージ ✓ Snapdragon Spaces SDK (0.12.1) ✓ Unity Interactions Package (Version 4.0.0-pre.9) ○ サイト公式の手順でセットアップ ✓ https://docs.spaces.qualcomm.com/unity/setup/SetupGuideUnity.html 2023/4/19 Copyright © 2023 Takahiro Miyaura 16

• https://docs.spaces.qualcomm.com/unity/setup/SetupGuideUnity.html

何とかビルドしました。 サンプルはパッケージからインポート ○ 実行に必要なサンプルシーン ✓ ✓ ✓ ✓ ✓ 2023/4/19 Copyright © 2023 Takahiro Miyaura QCHT Sample – Menu Spaces QCHT Sample – Distal QCHT Sample – Draw QCHT Sample – Proximal QCHT Sample – UI Elements 17

何とかビルドしました。 ○ 追加するシンボル ✓ SPACES 2023/4/19 Copyright © 2023 Takahiro Miyaura 18

Snapdragon Spaces + MRTK 2023/4/19 Copyright © 2023 Takahiro Miyaura 19

MRTK3に加えてMRTK V2もやってみた 何かとあると便利かもしれないので。。。 MRTK3は問題なし 2023/4/19 MRTK V2はおしい！ Copyright © 2023 Takahiro Miyaura 20

気づき（まとめ） 2023/4/19 Copyright © 2023 Takahiro Miyaura 21

気づき Snapdragon Spaceに関してはこれから印象を受けた ✓ SDKが0.12.0になった ✓ ✓ Snapdragon Spaces SDK内のハンドトラッキング系の機能が廃止予定 →今後はQCHTライブラリを使うようにしてね 空間マッピングはちゃんと空間メッシュのAdd/Update/Deleteが実装された ✓ MRTK連携 ✓ MRTK3とSnapdragon Spaces 0.12.0も問題なさそう ✓ MRTK V2はなにか惜しい気がする ✓ 引続き調べようっと もう少しこなれてくると面白いと思いますよ！ 2023/4/19 Copyright © 2023 Takahiro Miyaura 22

OMAKE mocopiであそんできた 2023/4/19 Copyright © 2023 Takahiro Miyaura 23

滑走中にどのくらいのキャプチャできるか 気になるじゃないですか。。。 ◼唯一の課題が足でした ◼Mocopiのセンサーは6個 ◼各箇所に専用バンドつけて固定 ◼スキーブーツに隙間がない ✓足型に合わせて成型したインナー ✓バンドはおろかmocopi単体も無理 えぇ、無理やり固定してやりましたよ ○ 養生テープでmocopiを養生 ○ 防水超強力テープ「ゴリラテープ」で固定 2023/4/19 Copyright © 2023 Takahiro Miyaura 24

こんな感じ 高低差は誤差ありまくりだけど、それっぽい 2023/4/19 Copyright © 2023 Takahiro Miyaura 25

以上 OMAKE 2023/4/19 Copyright © 2023 Takahiro Miyaura 26

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2023/4/19 Copyright © 2023 Takahiro Miyaura 27