ARグラスで現実の北を合わせたい話

-- Views

May 21, 25

#xrmtg #xr

スライド概要

XRミーティング 2025/5/21(https://osaka-driven-dev.connpass.com/event/353414/)登壇資料。
ARグラスで方位を合わせるための実装をどうすればいいかを調査した話

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 25.9K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 13.2K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 11.4K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 11.4K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 11K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 8.9K

各ページのテキスト

ARグラスで現実の北を合わせたい話 2025/05 XR ミーティング @takabrz1 Takahiro Miyaura

宮浦恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018 XR は趣味です - 2025 大阪駆動開発( とHolomagicians) コミュニティに生息 HoloLens 日本販売してからxR 系技術に取組む新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Snapdragon Spaces ○ Mixed Reality Toolkit v3.0.0 ○ Vision Pro もそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください

やりたかったこと＝一応の成果物 1 Unity 内の空間と現実の北方向をそろえる 2 目次５ 3 キャリブレーションが厄介 4 やってみて気づいたことまとめ

MiRZA SDK 0.8.0がでた MiRZA の環境構築やMiRZA Library 、サンプルなどを設定できる。 https://www.devices.nttqonoq.com/developer/doc/mirza - sdk/overview 主にできること ○ Snapdragon Spaces SDKの環境設定の補助（Dual Render Fusion関連） ○ MiRZA Libraryの導入 ○ Dual Render Fusion用のMiRZAコントローラ ○ シミュレータ ○ 各種サンプル初めてMiRZA で開発する人を支援する為の開発キット ※もちろんつかいこなしてる人も 2025/04/16 © 2025 Takahiro Miyaura 7

https://www.devices.nttqonoq.com/developer/doc/mirza

やりたかったこと＝一応の成果物 1 Unity 内の空間と現実の北方向をそろえる 2 目次５ 3 キャリブレーションが厄介 4 やってみて気づいたことまとめ

10.

11.

やりたかったこと＝一応の成果物 1 Unity 内の空間と現実の北方向をそろえる 2 目次５ 3 そろえるのがやっかい 4 やってみて気づいたことまとめ

12.

13.

Unity内の空間と現実の北方向をそろえる課題整理方位に関する情報はスマホが持ってる ○ スマホには大抵磁気センサーが入ってる ○ あとGPS ○ ジャイロもある N スマホのアプリケーションだと・・・ ○ センサー使ってUnity 内のカメラを制御 ○ 磁気センサーの情報で北の方位ベクトルを求める ○ ( ﾟдﾟ) ｳﾏｰ 2025/04/16 © 2025 Takahiro Miyaura 13

14.

やりたかったこと＝一応の成果物 1 Unity 内の空間と現実の北方向をそろえる 2 目次５ 3 そろえるのがやっかい 4 やってみて気づいたことまとめ

15.

16.

17.

18.

Unity内の空間と現実の北方向をそろえる課題整理 – ARグラスでスマホみたいにしようとすると。。。さらに厄介なことに ○ 磁気センサーの北を指す角度はスマホの座標軸を基準にしてる ⇒スマホを回転すれば磁気センサーから得られる北の方位角も変化する ○ スマホの向きとARグラスの向き（方位上の回転角）は同期しない N ARグラスで方位を合わせるとなるとスマホの座標軸とARグラスの座標軸を考慮して磁気センサーの情報を使わないといけない。 2025/04/16 © 2025 Takahiro Miyaura 18

19.

Unity内の空間と現実の北方向をそろえるつまり。。。 ○ スマホの座標系をUnity で扱いやすくする ○ 方位センサーの回転角はY軸回転で扱う ○ スマホの座標軸をUnity に合わせる Y軸とZ 軸を入れ替える ○ スマホの姿勢情報とARグラスの姿勢情報を同期スマホとARグラスの姿勢（Y軸回転＝ヨー角）が合えば方位センサーの情報は両方のデバイスで一致する 2025/04/16 © 2025 Takahiro Miyaura 19

20.

みんな大好きQeutanionを使えば解決 Quaternion . Euler ( 90f , 0f , 0f ) * new Quaternion ( - gyroRawRotation . x, - gyroRawRotation . y, gyroRawRotation . z, gyroRawRotation . w) Quaternion 2025/04/16 . Euler ( 0f , - trueHeading © 2025 Takahiro Miyaura , 0f ); 20

21.

やりたかったこと＝一応の成果物 1 Unity 内の空間と現実の北方向をそろえる 2 目次５ 3 ジャイロセンサーとか磁気センサーとか 4 やってみて気づいたことまとめ

22.

23.

24.

1 2 目次アップデート Snapdragon Spaces SDK MiRZA Library アップデート 3 続・MiRZA センサーを使いやすくする 4 まとめ

25.

MiRZA Library 1.1.2 4/1 リリース：前見つけたバグ系が直っていた https://www.devices.nttqonoq.com/developer/doc/mirza [1.1.2] - library/changelog - 2025 - 04 - 01 ○ MiRZA アプリv1.00.09 と合わせて以下を修正 ○ MRモードを有効に切替時のアプリの起動を安定化 ○ タッチセンサーのMovement 返却値を修正 ○ 電池残量の変化通知を1%毎に通知するよう修正 ○ サンプルコードの修正（サンプルコードの変更履歴を参照） ○ その他軽微な修正 2025/04/16 © 2025 Takahiro Miyaura 25

https://www.devices.nttqonoq.com/developer/doc/mirza

26.

https://zenn.dev/miyaura/articles/snapdragonspaces

27.

1 2 目次アップデート Snapdragon Spaces SDK MiRZA Library アップデート 3 続・MiRZA センサーを使いやすくする 4 まとめ

28.

29.

30.

MiRZAとは無線利用可能なSnapdragon Spaces 対応ARグラス ○ Snapdragon Spaces 対応機 ○ 片目 1920 x 1080 ○ 視野角約45 ° ○ RGBカメラ、モノクロセンサーカメラ X 2 ○ Qualcomm Snapdragon AR2 ○ 明るさ約1,000 nits ○ 透明なレンズ 2025/04/16 © 2025 Takahiro Miyaura 30

31.

32.

MiRZA Pluginについて MiRZA Library(Java)をUnityで使えるようにしたC#プラグイン MiRZA デバイスとして固有に持っている機能をアプリで使える例えば、MiRZA はテンプル部分にタッチセンサーがある自分のアプリに活用できる！他にも ○ 母艦との接続状況( 無線式なので) ○ バッテリ残量 ○ マイク ○ MRモード等… 2025/04/16 © 2025 Takahiro Miyaura 32

33.

MiRZA Pluginについてできること MiRZA デバイスの各種情報にアクセスできる。情報取得 ○ バージョン整合性を確認する ○ 電池残量を取得する ○ 電池残量を取得する（非同期） ○ 充電状態を取得する ○ 充電状態を取得する（非同期） ○ グラスデバイス状態を取得する ○ グラスデバイス状態を取得する（非同期） ○ MRモード状態を取得する ○ MRモード状態を取得する（非同期） ○ ライブラリバージョンを返す 2025/04/16 Changed イベント ○ 電池残量を取得する ○ 画面表示状態を取得する ○ グラスデバイス状態を取得する ○ グラスのタッチパネル操作情報を取得する ○ グラス電源OFF を取得する ○ サービス状態を取得する ○ MRモード状態を取得する © 2025 Takahiro Miyaura この他に、音声の収音パターン変更、Spaces Service 設定変更系もあるの起動/ 停止等 33

34.

詳細は先月、先々月のXRミーティングをどぞ MiRZA のタッチセンサーを使いやすくしてみる試み https://www.docswell.com/s/m - taka596/KV1EE4 - XRMTG- QONOQ- MiRZALibrary - 20250319 MiRZA Library 使ったアプリを楽につくれない？ ○ 概要 ○ タッチセンサーを使いやすくするための検証 2025/04/16 © 2025 Takahiro Miyaura 34

https://www.docswell.com/s/m

35.

36.

37.

作った部品 MiRZA Touch Sensor Manager Inspector からUnity イベントで設定できるコンポーネント電源関連 ○ OnBatteryLevelChanged – 1%毎の増減の変化時：バッテリー残量(%) ○ OnChargeStatusChanged – 充電中の状態（USB が刺さってる）の変化時 ○ OnPowerOffChanged – 電源を長押しでMiRZA を終了時デバイス/ サービス関連 ○ OnSpacesModeStatusChanged – Snapdragon Spaces Service 状態変化時 ○ OnDisplayStatusChanged – ディスプレイの表示/ 非表示の変化時 ○ OnServiceStateChanged - MiRZA Library のモニタリング状態の変化時 ○ OnGlassStatusChanged - Bluetooth,Wifi,Spaces の状態の変化時タッチセンサー情報関連 ○ OnGlassTouchGestureStatusChanged 2025/04/16 – タッチ位置、移動量等の変化時 © 2025 Takahiro Miyaura 37

38.

作った部品 MiRZA Touch Sensor Manager Unity イベントで設定できるChanged 系のイベントタップ系 ○ OnSingleTap – 1回タップ操作時 ○ OnDoubleTap – 2回タップ操作時 ○ OnTripleTap - 3回タップ操作時 ○ OnTouchSensorDown – 最初のタッチセンサーの接触時 ○ OnTouchSensorUp – 最後のタッチセンサーから離れた時 ○ OnLongPressInitial – センサーの長押し（最初）操作時 ○ OnLongPressRepeat - センサーの長押し操作時ジェスチャー系 ○ OnSwipeNext – タッチセンサーのスワイプ操作（前→後）時 ○ OnSwipePrevious – タッチセンサーのスワイプ操作（後→前）時 ○ OnMove – タッチセンサーを前後に動かしている時 2025/04/16 © 2025 Takahiro Miyaura 38

39.

40.

41.

42.

43.

https://github.com/TakahiroMiyaura/MiRZATouchSensor

44.

大阪駆動開発関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ