Azure Object Anchors のQuick Startで理解を深めたい

Azure Object Anchors の Quick Startで理解を深めたい takabrz1 大阪駆動開発 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2021 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発コミュニティに生息 ◼ HoloLens日本販売してからXR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ ✓ ✓ リリース機能調べたり・・・ 面白い機能使ってみたり・・・ 新しい実験してフィードバックしたり・・・ ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

Azure Object Anchors 2023/2/16 Copyright © 2021 Takahiro Miyaura

Azure Object Anchors 概要 （参考）Azure Spatial Anchorsはスキャンし た空間情報を学習済み形状として活用 空間をスキャンし学習済みの形状と照合 ◆ Azure Services HoloLensで認識している空間情報 ＝現実空間をスキャンし凹凸や奥行を把握 Azure Object Anchors ①空間スキャン Azure Object Anchors Runtime SDK [オプション]診断情報送信 ②空間情報取得 HoloLens 2 学習済み形状モデル ③アンカー設置＆可視化 [事前作業] インポート 取得 APIで登録 ou ファイル 3Dモデリング ツール等で作成 3Dモデル 2023/2/16 Copyright © 2021 Takahiro Miyaura 現実の物体は要登録

Azure Object Anchors 概要 Dynamics 365 Guidesでも使えるようになる ◆ Point Dynamics 365 Guides HoloLens を活用して現実環境での作業を支援 手順等をガイダンスとして空間表示 ガイダンスの表示手段 QRコード 円形コード ホログラフィック Azure Object Anchors https://cloudblogs.microsoft.com/dynamics365/bdm/2021/05/05/improve-on-the-job-guidance-with-dynamics-365-guides-and-azure-objectanchors/ 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://cloudblogs.microsoft.com/dynamics365/bdm/2021/05/05/improve-on-the-job-guidance-with-dynamics-365-guides-and-azure-object-

Azure Object Anchors 概要 特徴 ◼ 検索する現実の物体は3Dモデルで同じ形状のものを用意 ◼ 3Dモデルは事前に登録し検索用の学習済みモデル（OUファイル)を取得 ◼ 実際の物体検索時にはOUファイルを使って称号を行う。 ◼ つまり基本的にオフラインでの利用が可能 2023/2/16 Copyright © 2021 Takahiro Miyaura

Azure Object Anchors 利用について 大きくは2段階の作業 現実空間での利用 モデルの登録 （事前作業） HoloLensで認識している空間情報 ＝現実空間をスキャンし凹凸や奥行を把握 ◆ Azure Services Azure Object Anchors ①空間スキャン Azure Object Anchors Runtime SDK [オプション]診断情報送信 ②空間情報取得 HoloLens 2 学習済み形状モデル ③アンカー設置＆可視化 [事前作業] インポート 取得 APIで登録 ou ファイル 3Dモデリング ツール等で作成 3Dモデル 2023/2/16 Copyright © 2021 Takahiro Miyaura

Azure Object Anchors 利用について – 現実オブジェクトの登録 3DモデルとしてAzure Object Anchorsに登録 【現実オブジェクトは3Dモデルで用意】 ◼ フォーマット .glb, .gltf, .ply, .fbx, .obj ◼ サイズは1m ～10m の範囲内がスイートスポット ◼ 適切なスケール ユニット ◼ センチメートル, デシメートル, フィート, インチ, キロメートル, メートル, ミリメートル, ヤード, ◼ オブジェクトの重力方向 ◼ 例：オブジェクトの下向き-Y の場合は、(0, -1, 0) ◆ Azure Services Azure Object Anchors Azure Object Anchors Runtime SDK 【注意点】 サイズが大きく、LOD (詳細レベル) が高いモデルの処理には時間がかかる可能性あり。 学習済み形状モデル [事前作業] インポート Azure Object Anchorsの オブジェクト変換サービスを利用 • • 学習済みモデルはouファイルとして取得 HoloLensにインポート（ファイルコピー） 取得 APIで登録 ou ファイル 3Dモデリング ツール等で作成 3Dモデル 2023/2/16 Copyright © 2021 Takahiro Miyaura

Azure Object Anchors 利用について – 現実のオブジェクトの検出と可視化 学習済みモデルと現実空間の情報を照合 HoloLensで認識している空間情報 ＝現実空間をスキャンし凹凸や奥行を把握 ①空間スキャン ②空間情報取得 検出時の主な調整項目 ◼ ObjectSearchArea Azure Object Anchors Runtime SDK HoloLens 2 ③アンカー設置＆可視化 ✓ 現実の物体を検出するエリア範囲 （動画の赤のボックス） ◼ MinSurfaceCoverage ✓ 現実の物体と一致したとみなす表面の 最小カバレッジ率 ◼ IsExpectedToBeStandingOnGroundPlane ✓ 現実オブジェクト床面に設置しているかどうか ◼ ExpectedMaxVerticalOrientationInDegrees ✓ 認識可能な上方向と重力の最大角度 ◼ MaxScaleChange ✓ 2023/2/16 Copyright © 2021 Takahiro Miyaura オブジェクトのスケールを調整(0~1)

Azure Object Anchors 実装の話 ◼ Quick Startのコードをちょっと紹介 2023/2/16 Copyright © 2021 Takahiro Miyaura

Azure Object Anchors 実装の話 大きくは2つのアプリに分かれている。 https://github.com/Azure/azure-object-anchors quickstarts ├─apps //Hololens アプリ │ ├─directx //DirectX版アプリ │ └─unity │ ├─basic //Unity版素のアプリ │ └─mrtk //Unity版MRTK利用アプリ └─conversion └─ConversionQuickstart //3Dモデル登録アプリ ←今日はこのサンプルの話を少し アプリ概要 ◼ HoloLens アプリ ◼ HoloLensにデプロイ ◼ 学習済みモデルと現実物体を照合&位置合わせ ◼ 3Dモデル登録アプリ ◼ 現実物体を模した3DモデルをAzure Object Anchorsサービスに登録 ◼ 学習済みモデルファイル(.ou)の取得 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://github.com/Azure/azure-object-anchors

Azure Object Anchors 実装の話 - 現実の物体との照合 ◼ Quick Startのコードをちょっと紹介 2023/2/16 Copyright © 2021 Takahiro Miyaura

Azure Object Anchors 実装の話 - 現実の物体との照合 ポイントになるクラスはこれ！ ◼ObjectAnchorsServiceクラス ObjectTrackerクラス 以下の手順で物体検出を実現する 1. サービスの初期化 TrackableObjectDataLoaderクラス 2. 検索する物体に対応するOUファイルの格納 ObjectTrackerクラス 3. 物体検出時のイベントの設定 • ObjectAdded - 物体を検出した • ObjectUpdate - 物体の状態が変わった • ObjectRemoved - 物体をロストした • RunningChanged –ステータス(一時停止/実行中) TrackableObjectMenuクラス が変更 4. 検出パラメータの調整 ObjectTrackerクラス 5. 物体検出の開始/一時停止 6. 物体検出時の条件（範囲や精度）の設定 7. 終了 2023/2/16 Copyright © 2021 Takahiro Miyaura

まとめ 2023/2/16 Copyright © 2021 Takahiro Miyaura

まとめ Azure Object Anchors ◼３Dモデル形状を登録 ◼現実空間から学習済モデルと一致する現実の物体を検索 ◼現実の物体位置、向きを推定しデジタル情報と位置合わせ 今日の詳細版は近日Qiitaにアップ予定！ 2023/2/16 Copyright © 2021 Takahiro Miyaura

参考 ◼ Azure Object Anchors の公式ドキュメント ◼ https://docs.microsoft.com/ja-jp/azure/object-anchors/overview ◼ Azure Object AnchorsのGithub ◼ https://github.com/Azure/azure-object-anchors ◼ Azure Mixed Reality の新サービス「Azure Object Anchors」を使う ◼ 機能概要などの解説 ◼ https://qiita.com/miyaura/items/45f978f8833b3aad12dc ◼ Kobe HoloLens Meetup! vol.4 - Microsoft Ignite Recap ◼ 今日説明していない3Dモデルを登録する方の実装を少し解説 ◼ https://arkobe.connpass.com/event/210424/ 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://docs.microsoft.com/ja-jp/azure/object-anchors/overview
• https://github.com/Azure/azure-object-anchors
• https://qiita.com/miyaura/items/45f978f8833b3aad12dc
• https://arkobe.connpass.com/event/210424/

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ 2023/2/16 Copyright © 2021 Takahiro Miyaura