Azure Object Anchors Recap(Kobe版)

>100 Views

April 24, 21

#mixed reality #azure #unity #Azure Object Anchors #Mixed Reality #3D Model Registration #Object Detection #Visualization

スライド概要

Kobe HoloLens ミートアップ vol.4登壇資料。
Mixed Reality関連サービスとAzure Object Anchorsの概要について紹介

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.32MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 23K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 12K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 10.2K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.5K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 8.1K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.7K

各ページのテキスト

Azure Object Anchors Recap takabrz1 大阪駆動開発 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2021 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）宮浦恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発コミュニティに生息 ◼ HoloLens日本販売してからXR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ ✓ ✓ リリース機能調べたり・・・面白い機能使ってみたり・・・新しい実験してフィードバックしたり・・・ ◼ 新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura takabrz1 ※よかったらこれを機にお知り合いになってください

https://qiita.com/miyaura

Ignite 2021でのAzure Object Anchorsの情報 Public Previewとして提供開始がアナウンス Private Previewではトヨタ社での先行利用事例が有名 https://blogs.windows.com/japan/2020/09/27/mixed-reality-momentum-hololens-2-expands-globally-and-new-azure-service-launches/ Mixed Realityの活用をより広げることができる注目のサービス https://blogs.windows.com/japan/2021/03/05/driving-innovation-with-azure-mixed-reality-services/ 2021/3/24 Copyright © 2021 Takahiro Miyaura

空間情報の活用を支援するMixed Realityサービス Azure サービスとOSSライブラリ ◆ Azure Services ◆ Azure Services Azure Spatial Anchors 現実空間をマーカーとしてデジタル情報を位置合わせ Azure Object Anchors 現実の物体をマーカーとしてデジタル情報を位置合わせパスタ状の仮想物体 2021/3/24 Copyright © 2021 Takahiro Miyaura ◆ OSS Library World Locking Tool 現実空間とデジタル情報の位置関係を高精度に維持

Azure Object Anchors 概要（参考）Azure Spatial Anchorsはスキャンした空間情報を学習済み形状として活用空間をスキャンし学習済みの形状と照合 ◆ Azure Services HoloLensで認識している空間情報＝現実空間をスキャンし凹凸や奥行を把握 Azure Object Anchors ①空間スキャン Azure Object Anchors Runtime SDK [オプション]診断情報送信 ②空間情報取得 HoloLens 2 学習済み形状モデル ③アンカー設置＆可視化 [事前作業] インポート取得 APIで登録 ou ファイル 3Dモデリングツール等で作成 3Dモデル 2021/3/24 Copyright © 2021 Takahiro Miyaura 現実の物体は要登録

Azure Object Anchors 利用について大きくは2段階の作業現実空間での利用モデルの登録（事前作業） HoloLensで認識している空間情報＝現実空間をスキャンし凹凸や奥行を把握 ◆ Azure Services Azure Object Anchors ①空間スキャン Azure Object Anchors Runtime SDK [オプション]診断情報送信 ②空間情報取得 HoloLens 2 学習済み形状モデル ③アンカー設置＆可視化 [事前作業] インポート取得 APIで登録 ou ファイル 3Dモデリングツール等で作成 3Dモデル 2021/3/24 Copyright © 2021 Takahiro Miyaura

10.

Azure Object Anchors 利用について – 現実オブジェクトの登録 3DモデルとしてAzure Object Anchorsに登録【現実オブジェクトは3Dモデルで用意】 ◼ フォーマット .glb, .gltf, .ply, .fbx, .obj ◼ サイズは1m ～10m の範囲内がスイートスポット ◼ 適切なスケールユニット ◼ センチメートル, デシメートル, フィート, インチ, キロメートル, メートル, ミリメートル, ヤード, ◼ オブジェクトの重力方向 ◼ 例：オブジェクトの下向き-Y の場合は、(0, -1, 0) ◆ Azure Services Azure Object Anchors Azure Object Anchors Runtime SDK 【注意点】サイズが大きく、LOD (詳細レベル) が高いモデルの処理には時間がかかる可能性あり。学習済み形状モデル [事前作業] インポート Azure Object Anchorsのオブジェクト変換サービスを利用 • • 学習済みモデルはouファイルとして取得 HoloLensにインポート（ファイルコピー）取得 APIで登録 ou ファイル 3Dモデリングツール等で作成 3Dモデル 2021/3/24 Copyright © 2021 Takahiro Miyaura

11.

Azure Object Anchors 利用について – 現実のオブジェクトの検出と可視化学習済みモデルと現実空間の情報を照合 HoloLensで認識している空間情報＝現実空間をスキャンし凹凸や奥行を把握 ①空間スキャン ②空間情報取得検出時の主な調整項目 ◼ ObjectSearchArea Azure Object Anchors Runtime SDK HoloLens 2 ③アンカー設置＆可視化 ✓ 現実の物体を検出するエリア範囲（動画の赤のボックス） ◼ MinSurfaceCoverage ✓ 現実の物体と一致したとみなす表面の最小カバレッジ率 ◼ IsExpectedToBeStandingOnGroundPlane ✓ 現実オブジェクト床面に設置しているかどうか ◼ ExpectedMaxVerticalOrientationInDegrees ✓ 認識可能な上方向と重力の最大角度 ◼ MaxScaleChange ✓ 2021/3/24 Copyright © 2021 Takahiro Miyaura オブジェクトのスケールを調整(0~1)

12.

13.

Azure Object Anchors Quick Start のポイント実施の際のポイントを紹介 – モデルの生成【公式ドキュメント(Azure Object Anchors )】 ◼ 全体：https://docs.microsoft.com/ja-jp/azure/object-anchors/ ◼ モデルの登録：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-model-conversion ◼ AOA利用：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-unity-hololens-mrtk?tabs=unity-package-web-ui 例：Blenderでバランスボール用のモデル生成 ◼ 対象にするモデルを用意しましょう【シンプルな形状を用意】 ◼ そこそこ大き目の物体（1m程度）を用意 ◼ ◼ バランスボール、段ボール等対称形の物体は方向が不定になります（位置は正確に出ます） Scale:1.0 Apply Scaling:FBX All ✓ Quick Startのコンバージョンツールで登録 ✓ 成功するとouファイルが生成されます。 2021/3/24 Copyright © 2021 Takahiro Miyaura 実寸（ｍ）で入力

14.

Azure Object Anchors Quick Start のポイント実施の際のポイントを紹介 – HoloLens アプリ【公式ドキュメント(Azure Object Anchors )】 ◼ 全体：https://docs.microsoft.com/ja-jp/azure/object-anchors/ ◼ モデルの登録：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-model-conversion ◼ AOA利用：https://docs.microsoft.com/ja-jp/azure/object-anchors/quickstarts/get-started-unity-hololens-mrtk?tabs=unity-package-web-ui 【Device Portal経由でインポート】 ◼ 場所：User Folders¥LocalAppData ¥AOAMRTKApp.X.X.X.X_arm64__XXXXX¥LocalState¥ 2021/3/24 Copyright © 2021 Takahiro Miyaura

15.

16.

17.

Azure Object Anchors 実装の話 – モデル登録とOUファイルの取得 OUファイルの作成指示 Azure Object AnchorsのアカウントID、ドメイン、アカウントキー ObjectAnchorsConversionClient client = new ObjectAnchorsConversionClient([AccountId], [AccountDomain], [AccountKey]); AssetConversionOperation conversionOperation = null; モデルデータアップロードURL （サイズが大きいので非同期用に都度変わる） var assetOptions = new AssetConversionOptions( (await client.GetAssetUploadUriAsync()).Value.UploadUri, AssetFileType.FromFilePath(configuration.InputAssetPath), new Vector3(0.0f, -1.0f, 0.0f), モデルデータの重力方向軸 AssetLengthUnit.Meters); モデルデータのサイズ単位 3Dモデルデータオブジェクト AssetFileTypeは読込んだモデルの種類などを情報に持つ Ouファイルの作成指示 conversionOperation = await client.StartAssetConversionAsync(assetOptions); 2021/3/24 Copyright © 2021 Takahiro Miyaura

18.

Azure Object Anchors 実装の話 – モデル登録とOUファイルの取得 OUファイルのダウンロード OUファイルの処理待ち var response = await conversionOperation.WaitForCompletionAsync (new CancellationTokenSource(TimeSpan.FromMinutes(40)).Token); if (response.Value.ConversionStatus == AssetConversionStatus.Succeeded) //正常完了の場合 { BlobClient downloadBlobClient = new BlobClient(response.Value.OutputModelUri); await downloadBlobClient.DownloadToAsync(outputPath); } OUファイルのダウンロード 2021/3/24 Copyright © 2021 Takahiro Miyaura

19.

20.

21.

22.

まとめ Azure Mixed Reality の新しいサービス ◼Azure Object Anchors ◼３Dモデル形状を登録 ◼現実空間から学習済モデルと一致する現実の物体を検索 ◼現実の物体位置、向きを推定しデジタル情報と位置合わせ Azure Object Anchorsが加わった Azure Mixed Reality サービスでMixed Realityの活用範囲が広がる 2021/3/24 Copyright © 2021 Takahiro Miyaura

23.