Azure Object Anchors Recap
>100 Views
March 24, 21
スライド概要
Microsoft Ignite Recap Community Dayでの登壇資料。Azure Object AnchorsがPublic Previewが提供されたのでその紹介を行いました。
ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。 社内ではXR関連技術に関する啓もう活動や技術支援に従事。 業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。 また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。
関連スライド
各ページのテキスト
Azure Object Anchors Recap takabrz1 大阪駆動開発 Takahiro Miyaura
Microsoft MVP for Windows Development 2018-2021 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発コミュニティに生息 ◼ HoloLens日本販売してからXR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ ✓ ✓ リリース機能調べたり・・・ 面白い機能使ってみたり・・・ 新しい実験してフィードバックしたり・・・ ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura takabrz1 ※よかったらこれを機にお知り合いになってください
Ignite 2021でのアップデート情報 2021/3/24 Copyright © 2021 Takahiro Miyaura
Ignite 2021でのAzure Object Anchorsの情報 Public Previewとして提供開始がアナウンス Private Previewではトヨタ社での先行利用事例が有名 https://blogs.windows.com/japan/2020/09/27/mixed-reality-momentum-hololens-2-expands-globally-and-new-azure-service-launches/ Mixed Realityの活用を より広げることができる注目のサービス https://blogs.windows.com/japan/2021/03/05/driving-innovation-with-azure-mixed-reality-services/ 2021/3/24 Copyright © 2021 Takahiro Miyaura
Mixed Realityの空間を活用するためのサービス 2021/3/24 Copyright © 2021 Takahiro Miyaura
空間情報の活用を支援するMixed Realityサービス Azure サービスとOSSライブラリ ◆ Azure Services ◆ Azure Services Azure Spatial Anchors 現実空間をマーカーとして デジタル情報を位置合わせ Azure Object Anchors 現実の物体をマーカーとして デジタル情報を位置合わせ パスタ状の仮想物体 2021/3/24 Copyright © 2021 Takahiro Miyaura ◆ OSS Library World Locking Tool 現実空間とデジタル情報の 位置関係を高精度に維持
Azure Object Anchors 2021/3/24 Copyright © 2021 Takahiro Miyaura
Azure Object Anchors 概要 （参考）Azure Spatial Anchorsはスキャンし た空間情報を学習済み形状として活用 空間をスキャンし学習済みの形状と照合 ◆ Azure Services HoloLensで認識している空間情報 ＝現実空間をスキャンし凹凸や奥行を把握 Azure Object Anchors ①空間スキャン Azure Object Anchors Runtime SDK [オプション]診断情報送信 ②空間情報取得 HoloLens 2 学習済み形状モデル ③アンカー設置＆可視化 [事前作業] インポート 取得 APIで登録 ou ファイル 3Dモデリング ツール等で作成 3Dモデル 2021/3/24 Copyright © 2021 Takahiro Miyaura 現実の物体は要登録
Azure Object Anchors 利用について 2021/3/24 Copyright © 2021 Takahiro Miyaura
Azure Object Anchors 利用について 大きくは2段階の作業 ◆ Azure Services HoloLensで認識している空間情報 ＝現実空間をスキャンし凹凸や奥行を把握 Azure Object Anchors ①空間スキャン Azure Object Anchors Runtime SDK [オプション]診断情報送信 ②空間情報取得 HoloLens 2 学習済み形状モデル ③アンカー設置＆可視化 [事前作業] インポート 取得 APIで登録 ou ファイル 3Dモデリング ツール等で作成 3Dモデル 2021/3/24 Copyright © 2021 Takahiro Miyaura
Azure Object Anchors 利用について 大きくは2段階の作業 ◆ Azure Services HoloLensで認識している空間情報 ＝現実空間をスキャンし凹凸や奥行を把握 Azure Object Anchors ①空間スキャン Azure Object Anchors Runtime SDK [オプション]診断情報送信 ②空間情報取得 HoloLens 2 モデルの登録 学習済み形状モデル （事前作業） 現実空間での利用 ③アンカー設置＆可視化 [事前作業] インポート 取得 APIで登録 ou ファイル 3Dモデリング ツール等で作成 3Dモデル 2021/3/24 Copyright © 2021 Takahiro Miyaura
Azure Object Anchors 利用について – 現実オブジェクトの登録 3DモデルとしてAzure Object Anchorsに登録 【現実オブジェクトは3Dモデルで用意】 ◼ フォーマット .glb, .gltf, .ply, .fbx, .obj ◼ サイズは1m ～10m の範囲内がスイートスポット ◼ 適切なスケール ユニット ◼ センチメートル, デシメートル, フィート, インチ, キロメートル, メートル, ミリメートル, ヤード, ◼ オブジェクトの重力方向 ◼ 例：オブジェクトの下向き-Y の場合は、(0, -1, 0) ◆ Azure Services Azure Object Anchors Azure Object Anchors Runtime SDK 【注意点】 サイズが大きく、LOD (詳細レベル) が高いモデルの処理には時間がかかる可能性あり。 学習済み形状モデル [事前作業] インポート Azure Object Anchorsの オブジェクト変換サービスを利用 • • 学習済みモデルはouファイルとして取得 HoloLensにインポート（ファイルコピー） 取得 APIで登録 ou ファイル 3Dモデリング ツール等で作成 3Dモデル 2021/3/24 Copyright © 2021 Takahiro Miyaura
Azure Object Anchors 利用について – 現実のオブジェクトの検出と可視化 学習済みモデルと現実空間の情報を照合 HoloLensで認識している空間情報 ＝現実空間をスキャンし凹凸や奥行を把握 ①空間スキャン ②空間情報取得 検出時の主な調整項目 ◼ ObjectSearchArea Azure Object Anchors Runtime SDK HoloLens 2 ③アンカー設置＆可視化 ✓ 現実の物体を検出するエリア範囲 （動画の赤のボックス） ◼ MinSurfaceCoverage ✓ 現実の物体と一致したとみなす表面の 最小カバレッジ率 ◼ IsExpectedToBeStandingOnGroundPlane ✓ 現実オブジェクト床面に設置しているかどうか ◼ ExpectedMaxVerticalOrientationInDegrees ✓ 認識可能な上方向と重力の最大角度 ◼ MaxScaleChange ✓ 2021/3/24 Copyright © 2021 Takahiro Miyaura オブジェクトのスケールを調整(0~1)
Azure Object Anchors Quick Startのポイント ◼ Quick Start通りで問題なく実施できます ◼ 3Dモデルも簡易な方法で試せます 2021/3/24 Copyright © 2021 Takahiro Miyaura
Azure Object Anchors Quick Start のポイント 実施の際のポイントを紹介 – モデルの生成 【公式ドキュメント(Azure Object Anchors )】 ◼ 全体：https://docs.microsoft.com/ja-jp/azure/object-anchors/ ◼ モデルの登録：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-model-conversion ◼ AOA利用：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-unity-hololens-mrtk?tabs=unity-package-web-ui 例：Blenderでバランスボール用のモデル生成 ◼ 対象にするモデルを用意しましょう 【シンプルな形状を用意】 ◼ そこそこ大き目の物体（1m程度）を用意 ◼ ◼ バランスボール、段ボール等 対称形の物体は方向が不定になります（位置は正確に出ます） Scale:1.0 Apply Scaling:FBX All ✓ Quick Startのコンバージョンツールで登録 ✓ 成功するとouファイルが生成されます。 2021/3/24 Copyright © 2021 Takahiro Miyaura 実寸（ｍ）で入力
Azure Object Anchors Quick Start のポイント 実施の際のポイントを紹介 – HoloLens アプリ 【公式ドキュメント(Azure Object Anchors )】 ◼ 全体：https://docs.microsoft.com/ja-jp/azure/object-anchors/ ◼ モデルの登録：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-model-conversion ◼ AOA利用：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-unity-hololens-mrtk?tabs=unity-package-web-ui 【Device Portal経由でインポート】 ◼ 場所：User Folders¥LocalAppData ¥AOAMRTKApp.X.X.X.X_arm64__XXXXX¥LocalState¥ 2021/3/24 Copyright © 2021 Takahiro Miyaura
まとめ 2021/3/24 Copyright © 2021 Takahiro Miyaura
まとめ Azure Mixed Reality の新しいサービス ◼Azure Object Anchors ◼３Dモデル形状を登録 ◼現実空間から学習済モデルと一致する現実の物体を検索 ◼現実の物体位置、向きを推定しデジタル情報と位置合わせ Azure Object Anchorsが加わった Azure Mixed Reality サービスでMixed Realityの活用範囲が広がる 2021/3/24 Copyright © 2021 Takahiro Miyaura
大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ 2021/3/24 Copyright © 2021 Takahiro Miyaura