World Locking Tools でAzure Spatial Anchorsが使えるようになった

World Locking Tool で Azure Spatial Anchors使えるようになった 2021/12 XRミーティング takabrz1 大阪駆動開発 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2022 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ リリース機能調べたり・・・ ✓ 面白い機能使ってみたり・・・ ✓ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 と思ったらDigital Twins ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

今日のお題 2021/12/15 Copyright © 2021 Takahiro Miyaura 3

今日のお題 ◼ World Locking Tool V1.5.7 ✓Azure Spatial Anchorsが使えるようになった ✓マルチデバイスで空間情報を活用できる！？ ◼ サンプル動かすのが大変 ✓Mixed Reality Feature Toolの公開パッケージが・・・ サンプルもあるので 早速試してみよう！ 2021/12/15 Copyright © 2021 Takahiro Miyaura 4

World Locking Tool 2021/12/15 Copyright © 2021 Takahiro Miyaura 5

World Locking Toolについて 3Dオブジェクトを”広域な”現実空間に高精度で配置可能 ◼OSSライブラリ ◼Frozen World Engineのラッパーとして提供 ◼広域な空間マッピングを可能に ◼マッピング情報は永続化可能 ◼World Anchorと違って3DオブジェクトはRigidBodyが使える 2021/12/15 Copyright © 2021 Takahiro Miyaura 6

World Locking Toolについて ～ 背景 ～ MRを活用する際の現実空間とデジタル空間の課題 ◼ HoloLensなどのMRデバイスはセンサーなどの性能が高い ◼ 現実空間上にデジタルのオブジェクトをおいてもずれずに見まわしたりできる。 もっと広い空間で コンテンツをいじると？ ただし、近接空間のみ 2021/12/15 Copyright © 2021 Takahiro Miyaura 7

World Locking Toolについて ～ 背景 ～ ◼移動距離が長くなるほど遠距離のオブジェクトはずれていく 現実：遠くに移動(10m) 10m先で設置 デジタル上：≠10m 現実：戻る(10m) デジタル上：≠10m 戻るとさらにずれる 誤差分ずれる これを防ぐためにWorld Anchorを利用する＝管理が大変 2021/12/15 Copyright © 2021 Takahiro Miyaura 8

こういった面倒ごとを解決してくれる ＝World Locking Tool 2021/12/15 Copyright © 2021 Takahiro Miyaura 9

World Locking Toolについて デフォルメした表現 ◼ 大きなポスターを張るために少しずつ 貼り付けてピンで止めるようにデジタル空間を構築 厳密には違うかもしれないですが 概念としてはあってる（はず） 2021/12/15 Copyright © 2021 Takahiro Miyaura 10

World Locking Toolについて ある移動前の状態 虫ピン 現実空間とデジタル空間を つなぎとめるピン トラックボール HoloLensが SLAMで推定する空間 （中心点に頭がある） すのこ = 現実空間 黒い網状のもの World Locking Tool (FrozenWorld.Engine) で構成したマッピング空間 2021/12/15 ピンが刺さったところは安定 Copyright © 2021 Takahiro Miyaura 11

World Locking Toolについて 移動後・・・ 虫ピン追加 虫ピン 現実空間とデジタル空間を つなぎとめるピン 虫ピン追加 トラックボール HoloLensが SLAMで推定する空間 （中心点に頭がある） 虫ピン追加 黒い網状のもの World Locking Tool (FrozenWorld.Engine) で構成したマッピング空間 2021/12/15 ピンが刺さったところは安定 Copyright © 2021 Takahiro Miyaura 12

Azure Spatial Anchors 2021/12/15 Copyright © 2021 Takahiro Miyaura 13

Azure Spatial Anchors ～ Coarse Relocation ～ センサー情報を利用してSpatial Anchorの問合せが可能 ✓ ✓ ✓ ✓ 「空間の特徴」 「位置情報（=アンカー)」 「デジタル情報」 「センサー情報」 （Wifi/GPS/Beacon） クラウドで管理（IDで管理） ✓ クロスプラットフォームで活用 ✓ 共有体験の土台 仮想の物体 空間解析による特徴点 2021/12/15 Copyright © 2021 Takahiro Miyaura 14

Azure Spatial Anchors Anchor情報をAzure Spatial Anchorsサービスで管理 (x, y, z) Key : Value … (x, y, z) Anchor ID Anchor ID (x, y, z) 2021/12/15 Azure Spatial Anchors (x, y, z) Key : Value … Copyright © 2021 Takahiro Miyaura 15

World Locking Tool V1.5.7 Azure Spatial Anchors を使って空間情報共有できる！ 2021/12/15 Copyright © 2021 Takahiro Miyaura 16

で早速試してみようとした・・・ 2021/12/15 Copyright © 2021 Takahiro Miyaura 17

動いた(正確にはビルドできた)環境情報 ◼ 開発環境 ✓ Windows 11 ✓ Visual Studio 2019 ✓ Unity 2021.3.8f1 ◼ 利用したパッケージ一覧 ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ Mixed Reality Toolkit V2.7.2(Foundation + Standard Assetsのみ) Azure Spatial Anchors SDK for Core V2.11.0 Azure Spatial Anchors SDK for Windows V2.11.0 Mixed Reality OpenXR Plugin V1.2.1 World Locking Tool Core V1.5.7 World Locking Tool Samples V1.5.7 World Locking Tool ASA+Examples V1.5.7 Nuget for Unity Mixed Reality Feature Toolで設定 ✓ Microsoft.MixedReality.Unity.FrozenWorld.Engine.1.1.1を入れる 2021/12/15 Copyright © 2021 Takahiro Miyaura 18

アプリのデプロイまでが限界 ◼ 資産がうまく動かない ✓ Mixed Reality Feature Toolで設定 ✓ エラーが出てWorld Locking Toolがデプロイできない 結局World Locking Tool関連はGithubから資産を取得した 2021/12/15 Copyright © 2021 Takahiro Miyaura 19

やっと動いたところ（ついさっき） これからやっと調査です！ 2021/12/15 Copyright © 2021 Takahiro Miyaura 20

ということで詳細は・・・ Qiitaのアドベントカレンダーで！ 12/20あたりに公開予定！ 2021/12/15 Copyright © 2021 Takahiro Miyaura 21

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ