Build 2021のDigital Twinsセションを読み解く ～Azure関連サービス概要とラーニングパスの詳説～

Build 2021のDigital Twinsセションを読み解く ～Azure関連サービス概要とラーニングパスの詳説～ 2021/06/25 Tokyo HoloLens Meetup vol.27 takabrz1 大阪駆動開発 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2021 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発コミュニティに生息 ◼ HoloLens日本販売してからXR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ ✓ ✓ リリース機能調べたり・・・ 面白い機能使ってみたり・・・ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

とてもあっさり Microsoft Build 2021でのMixed Reality振り返り 2023/2/16 Copyright © 2021 Takahiro Miyaura

Mixed Realityが絡んでいた話 Digital Twinsに絡んだネタですね。。。 ◼6つのテーマの一部 BRK223-R1:Building Digital Twins, Mixed Reality and Metaverse Apps <https://mybuild.microsoft.com/sessions/348c6af7-60b3-46e5-bf09-f5a9b299dd45> IoTに絡んだところでの可視化や、コラボレー ションの手段にMixed Realityをという話 2023/2/16 CON064:Connect IoT data to HoloLens 2 with Azure Digital Twins and Unity, <https://mybuild.microsoft.com/sessions/815a692f-398b-4772-ac18-c021f5116757> Copyright © 2021 Takahiro Miyaura

Mixed Realityが絡んでいた話 去年のBuildでもIoTと絡んでいた ◼去年とはやれることや方向性 がちょっと変わったかも？ ◼ Remote Assistの補助に近い使い方を想定？ ASAなので現実空間に情報出すことを想定してるし 去年からこの流れは少し垣間見えていた。 引用元：「Microsoft Buile 2020:Microsoft IoT Vision and Roadmap 2023/2/16 Copyright © 2021 Takahiro Miyaura

BRK223: Building Digital Twins, Mixed Reality and Metaverse Apps セションアーカイブ ◼ https://mybuild.microsoft.com/sessions/f06287c8-8e56-452f-ae2f-e739c2be4870?source=schedule 【要約/ポイント】 • 物理環境をデジタル化によりデジタルツインを構築 • 実現にはモデル化と現実とのリアルタイム同期が必要 • 分析、予測、シミュレーションを通して自律的な制御を実現する ◼ あらゆる物理的資産や環境のデジタルツインを手に入れることができるとしたら？ 自分にとって重要なことを発見するためのシミュレーションを行うことができます。過 去を理解し、未来を予測する。その環境を感知するためにAIを適用し、物事を 自動化する。 そのデジタルツインと、それに含まれるすべての洞察を、複合現実 感の中で協調して扱うこと。 これらすべてがMicrosoft Cloud上で行われており、 最先端の企業がデジタルツイン、複合現実感、AI、IoT、そしてインテリジェントク ラウドとインテリジェントエッジの力を活用しています。 これらのメタバースアプリケー ションが変革的なビジネス成果をもたらすことを可能にするMicrosoft Cloudの サービスについてご紹介します。 2023/2/16 • Mixed Realityなどと組み合わせることでDigital Twinsを超えたMetaverseの世界を 実現する • 一見複雑な技術スタックは段階的に取り入れることができる Copyright © 2021 Takahiro Miyaura

• https://mybuild.microsoft.com/sessions/f06287c8-8e56-452f-ae2f-e739c2be4870?source=schedule

Azureで実現できる Digital TwinsやMixed Reality, Metaverse結構すごいと思いますよ ◼ 全部ある(必要そうなものが) Interact Predict, Simulate, Autonomous Control Track the Past, Analyze ◼ Power Platform ◼ 後から追加可能 Azure AI & Microsoft Project Bonsai Azure Synapse Analytics Monitor Azure Maps, Indoor Model Azure Digital Twins Synchronize Physical World 2023/2/16 Microsoft Mesh & HoloLens Azure IoT Physical World Copyright © 2021 Takahiro Miyaura できるところから導入可能

よくできているんですよね。 2023/2/16 Copyright © 2021 Takahiro Miyaura

これ ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」 https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104 ◼ 利用サービス ✓ メインのサービス ✓ Azure IoT Hub ✓ ✓ IoTエッジの管理 テレメトリー情報の集約/ルーティング ✓ Azure Digital Twins ✓ ✓ ✓ 現実環境のモデル化 DTDL(JSON形式)で記述 これ自体はデータの入れ物 ✓ デバイス/サービス間連携 ✓ SignalR HoloLensで可視化 ✓ HoloLensへのデータ送信 （おそらく実際にはこれをシェアリングして使う） ✓ Azure Functions 同報発信型のシェアリングアプリの1つのケースかもしれない 2023/2/16 Copyright © 2021 Takahiro Miyaura ✓ サービス間データ送信

• https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104

これをやるとここがわかる Interact Predict, Simulate, Autonomous Control Track the Past, Analyze ◼ 全部ある(必要そうなものが) Power Platform ◼ Azure AI & Microsoft Project Bonsai ◼ 後から追加可能 Azure Maps, Indoor Model Azure Digital Twins Physical World できるところから導入可能 Azure Synapse Analytics Monitor Synchronize 2023/2/16 Microsoft Mesh & HoloLens Azure IoT Physical World Copyright © 2021 Takahiro Miyaura ここ

Microsoft MVPパーソナルスポンサーで先日はこれやりました Azure Maps(InDoor)追加して可視化もしてみる オリジナルの地図情報を登録し、地図サー ビスみたいに操作できるサービス ◼ Azure Maps(Indoorマップ) ✓ 2D CADのフロアマップが利用可能 ✓ 一般的な地図サービスとほぼ同じ （模様） ✓ マップ内の経路探索等 ✓ マップ内座標指定 ✓ マップ自体に状態を持てる ✓ 異常設備の強調表示など ✓ Indoorマップはpreview ✓ コードできた後にAPIがv2に上がったorz Microsoft MVPパーソナルスポンサー ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」にAzure Mapsをアドオンしてみよう https://github.com/TakahiroMiyaura/AzureMapsIndoorDataSamples 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://github.com/TakahiroMiyaura/AzureMapsIndoorDataSamples

感動しましたよ。 ARM-Template偉大すぎる。。。 2023/2/16 Copyright © 2021 Takahiro Miyaura

ARM-Template スクリプトベースでAzureの各種リソース登録が可能 ◼ いわゆるAzureのIaaC(Infrastructure as Code) ◼ ARMテンプレートのドキュメント ✓ https://docs.microsoft.com/ja-jp/azure/azure-resource-manager/templates/ ◼ ラーニングパスはこれを用意してくれてるぅ ◼ なので手順通りやれば皆動くぜ ただ・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://docs.microsoft.com/ja-jp/azure/azure-resource-manager/templates/

何もわからん・・・ あまりに完全にデプロイされて動くものだから・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

今日のお題 ラーニングパスを読み解こう ◼ 去年、お家でデジタルツインする暴挙により得たノウハウで （参考）去年の成果物：確認対象のセンサーの位置特定とメンテナンス ✓ ✓ ✓ 2023/2/16 Azure Spatial Anchorsによるセンサー位置の特定 センサー/作業情報を取得し可視化 メンテナンスの報告 Copyright © 2021 Takahiro Miyaura

では早速 の前に関連技術を 2023/2/16 Copyright © 2021 Takahiro Miyaura

Digital Twinsに関する各層の概要は省略 Qiitaにまとめたので知りたい方は後でGo ◼ Microsoft Build 2021で話があったMixed Realityに絡むDigital Twinsについての技術要約 ✓ https://qiita.com/miyaura/items/dcd76fc796d8974fd099 Buildで紹介されていた用語の整理と各Azure サービス概要と公式へのリンク 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://qiita.com/miyaura/items/dcd76fc796d8974fd099

Azure Digital Twins ～ 物理環境をモデル化しデジタル環境で写像を管理 ～ ✓ 物理環境をモデル化 ✓ モデル化したデータの写像を生成 ✓ 写像データの管理 ✓ CRUD ✓ トリガー ここを見ると理解が進む Azure Digital Twinsのクイック スタート - ADT Explorer を使用して、Azure Digital Twins のサンプル シナリオを精査する https://docs.microsoft.com/ja-jp/azure/digital-twins/quickstart-adt-explorer?WT.mc_id=MR-MVP-5003104 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://docs.microsoft.com/ja-jp/azure/digital-twins/quickstart-adt-explorer?WT.mc_id=MR-MVP-5003104

Azure Digital Twins ～ 模式図 ～ Building 要素毎のモデル化 名称, 住所, Floorを要素に持つ Floor Room 階数, Roomを要素に持つ 室名, 温度, 湿度, 人数 Entrance 開錠時間、施錠時間 物理環境をデジタルツイン化 物理環境 Building 物理環境情報の反映 （リアルタイム） Floor1 Floor2 Entrance Room 1 Room 2 Floor3 Room 3 Room 1 Room 2 デジタル環境での表現 2023/2/16 Copyright © 2021 Takahiro Miyaura Floor4 Room 3 Room 1 Room 2 Room 3

Azure Digital Twins ～ 模式図 ～ Floor Room 階数, Roomを要素に持つ 室名, 温度, 湿度, 人数 Entrance 開錠時間、施錠時間 物理環境をデジタルツイン化 物理環境 Building Creator オリジナルマップデータを管理 DataSet オリジナルマップデータ（Creatorに複数登録可能） TileSet StateSet StateSet ・・・ 2023/2/16 マップデータのベクター表現(地図として表示) Floor1 Floor2 Floor3 Floor4 地図上の構造物の状態定義 （マップデータに対して複数定義可能） Entrance Room 1 Room 2 Room 3 Room 1 Room 2 デジタル環境での表現 Copyright © 2021 Takahiro Miyaura Room 3 Room 1 Room 2 Room 3

今日説明するラーニングパスとは 2023/2/16 Copyright © 2021 Takahiro Miyaura

これ ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」 https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104 ◼ 利用サービス ✓ メインのサービス ✓ Azure IoT Hub ✓ ✓ IoTエッジの管理 テレメトリー情報の集約/ルーティング ✓ Azure Digital Twins ✓ ✓ ✓ 現実環境のモデル化 DTDL(JSON形式)で記述 これ自体はデータの入れ物 ✓ デバイス/サービス間連携 ✓ SignalR HoloLensで可視化 ✓ HoloLensへのデータ送信 （おそらく実際にはこれをシェアリングして使う） ✓ Azure Functions 同報発信型のシェアリングアプリの1つのケースかもしれない 2023/2/16 Copyright © 2021 Takahiro Miyaura ✓ サービス間データ送信

• https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104

これをやるとここがわかる Interact Predict, Simulate, Autonomous Control Track the Past, Analyze ◼ 全部ある(必要そうなものが) Power Platform ◼ Azure AI & Microsoft Project Bonsai ◼ 後から追加可能 Azure Maps, Indoor Model Azure Digital Twins Physical World できるところから導入可能 Azure Synapse Analytics Monitor Synchronize 2023/2/16 Microsoft Mesh & HoloLens Azure IoT Physical World Copyright © 2021 Takahiro Miyaura ここ

利用しているAzure サービスの関係 - アーキテクチャ 2023/2/16 Copyright © 2021 Takahiro Miyaura

利用しているAzure サービスの関係 - アーキテクチャ① Azure IoT Hub Event Grid Azure Functions （System Topic） SignalR HoloLens 1 Turbine Azure Functions 1 2023/2/16 Azure Digital Twins Event Grid 風車はAzure IoT Hubで管理。各風車はリアルタイムで風車の周辺温度、風速、 回転数をAzure IoT Hubのテレメトリ情報として送信 Copyright © 2021 Takahiro Miyaura テレメトリ情報 Alert情報

利用しているAzure サービスの関係 - アーキテクチャ② 2 Azure IoT Hub Event Grid Azure Functions （System Topic） SignalR HoloLens 1 Turbine Azure Functions 2 2023/2/16 Azure Digital Twins Event Grid System Topicで定義されたEvent GridはAzure IoT Hubサービスを監視、 テレメリー情報受信を検知するとイベントをトリガー Copyright © 2021 Takahiro Miyaura テレメトリ情報 Alert情報

利用しているAzure サービスの関係 - アーキテクチャ③ 2 Azure IoT Hub 1 Azure Functions SignalR HoloLens 3 Turbine Azure Functions 3 2023/2/16 Event Grid （System Topic） Azure Digital Twins Event Grid Event Gridは登録されたAzure Functionsを呼出、テレメト リー情報を渡す Copyright © 2021 Takahiro Miyaura テレメトリ情報 Alert情報

利用しているAzure サービスの関係 - アーキテクチャ④ 2 Azure IoT Hub 1 Event Grid Azure Functions （System Topic） SignalR HoloLens 3 4 Turbine Azure Functions 4 2023/2/16 Azure Digital Twins Event Grid Azure Functions内では受信したテレメトリー情報で、Azure Digital Twinsの モデル化された風車を更新 Copyright © 2021 Takahiro Miyaura テレメトリ情報 Alert情報

利用しているAzure サービスの関係 - アーキテクチャ⑤ 2 Azure IoT Hub 1 Event Grid Azure Functions （System Topic） SignalR HoloLens 3 4 Turbine Azure Functions 5 Azure Digital Twins Event Grid テレメトリ情報 5 2023/2/16 Azure Digital Twinsが更新（テレメトリ）されると登録済みのEvent Gridへ通知を行う。 Copyright © 2021 Takahiro Miyaura Alert情報

利用しているAzure サービスの関係 - アーキテクチャ⑥ 2 Azure IoT Hub 1 Event Grid Azure Functions （System Topic） 3 Azure Functions HoloLens 6 4 Turbine SignalR 5 Azure Digital Twins Event Grid テレメトリ情報 6 2023/2/16 Event Gridは登録されたAzure Functionsを呼出、テレメト リー情報を渡す Copyright © 2021 Takahiro Miyaura Alert情報

利用しているAzure サービスの関係 - アーキテクチャ⑦ 7 2 Azure IoT Hub 1 Event Grid Azure Functions （System Topic） 3 Azure Functions 7 2023/2/16 HoloLens 6 4 Turbine SignalR 5 Azure Digital Twins Event Grid Azure Functions内ではDigital Twinsから取得した情報を SignalRを通じて同報発信を実施 Copyright © 2021 Takahiro Miyaura テレメトリ情報 Alert情報

利用しているAzure サービスの関係 - アーキテクチャ⑧ 7 2 Azure IoT Hub 1 Event Grid Azure Functions （System Topic） 3 Azure Functions SignalR HoloLens 6 4 Turbine 8 5 Azure Digital Twins Event Grid テレメトリ情報 8 2023/2/16 HoloLensはアプリケーション内でSignalRに接続し通知され た情報で風車の各情報を更新 Copyright © 2021 Takahiro Miyaura Alert情報

利用しているAzure サービスの関係 - アーキテクチャ⑨ 7 2 Azure IoT Hub 1 9 Event Grid Azure Functions （System Topic） 3 Azure Functions 9 2023/2/16 SignalR HoloLens 6 4 Turbine 8 5 Azure Digital Twins Event Grid 風車に問題が発生した場合、Azure Digital Twinsに対してAlertを送信。 Alert情報はテレメトリー情報と同じ経路で処理される Copyright © 2021 Takahiro Miyaura テレメトリ情報 Alert情報

利用しているAzure サービスの関係 - アーキテクチャ⑩ 7 2 Azure IoT Hub 1 9 Event Grid Azure Functions （System Topic） 3 Azure Functions SignalR HoloLens 6 4 Turbine 8 5 Azure Digital Twins Event Grid 10 テレメトリ情報 10 Alertの連続送信を防止するためにAzure Digital Twinsの情報を取得 2023/2/16 Copyright © 2021 Takahiro Miyaura Alert情報

利用しているAzure サービスの関係 - アーキテクチャ⑪ 7 2 Azure IoT Hub 1 9 Event Grid Azure Functions SignalR （System Topic） 3 Azure Functions HoloLens 6 4 Turbine 8 5 Azure Digital Twins Event Grid 11 10 センサ情報 11 2023/2/16 HoloLensからAlert情報のリセットを行う。Azure Digital Twinsに 対してAlert解除を実施 Copyright © 2021 Takahiro Miyaura Alert情報

Azure IoT Hubのところ Azure IoT Hub Turbine 2023/2/16 Event Grid Azure Functions （System Topic） Azure Functions Azure Digital Twins Event Grid Copyright © 2021 Takahiro Miyaura SignalR HoloLens

Azure IoT HubからAzure Digital Twinsへ Azure IoT Hub Turbine 2023/2/16 Event Grid Azure Functions （System Topic） Azure Functions Azure Digital Twins Event Grid Copyright © 2021 Takahiro Miyaura SignalR HoloLens

データの流れから見る各サービスの動き ~ おそらくこれが何もわからんの原因の1つ ~ 監視 Azure IoT Hub IoT デバイス T98 接続 T98 テレメトリー送信 Jsonデータ T99 接続 （System Topic） EventGridEvent Jsonデータ （テレメトリデータ発生時） Azure Digital Twinsへ 接続 テレメトリー送信 ・・・ Jsonデータ T107 Jsonデータ 2023/2/16 呼出 T99 テレメトリー送信 ・・・ T107 Event Grid (テレメトリ) Copyright © 2021 Takahiro Miyaura Azure Functions

Azure Digital Twinsに絡むところ ~ Azure Functionsによる更新 Azure IoT Hub Turbine 2023/2/16 Event Grid Azure Functions （System Topic） Azure Functions Azure Digital Twins Event Grid Copyright © 2021 Takahiro Miyaura SignalR HoloLens

Azure Digital Twinsに絡むところ ~ SignalRで同報発信するまで Azure IoT Hub Turbine 2023/2/16 Event Grid Azure Functions （System Topic） Azure Functions Azure Digital Twins Event Grid Copyright © 2021 Takahiro Miyaura SignalR HoloLens

データの流れから見る各サービスの動き その２ ~ おそらくこれも何もわからんの原因の1つ ~ 情報更新 テレメトリー Alert情報 Azure Digital Twins |・ω・)b Jsonデータ Azure Functions 下流に情報を流す フィルター機能 Event Route Jsonデータ Jsonデータ End Point Event Gridとリンク Event Grid 2023/2/16 Jsonデータ Jsonデータ Copyright © 2021 Takahiro Miyaura SignalR

まとめ 2023/2/16 Copyright © 2021 Takahiro Miyaura

今日のお題 ラーニングパスを読み解こう ◼ ラーニングパスでAzureでのDigital Twinsの基礎を理解 ✓ ポイント ✓ システムトピック型のEvent GridはAzureサービス自体のアクションをトリガーにする ✓ Azure Digital TwinsにはEvent Routeによる情報のフィルタが可能 ✓ 条件を満たすセンシングデータのみ連携が可能 ✓ ARM-Templateは偉大 ◼ Azure上で構成するDigital Twinsは導入が容易 ✓ 必要なところから導入し拡張が可能 ✓ 一種のMSAに近い形で運用していくことが可能 ラーニングパス、Azure Digital Twins、Mixed Realityへの理解の一助になれば幸いですー。 2023/2/16 Copyright © 2021 Takahiro Miyaura

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ 2023/2/16 Copyright © 2021 Takahiro Miyaura

参考リンク ◼ ラーニングパス ✓ 「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」 https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digitaltwins-unity/?WT.mc_id=MR-MVP-5003104 ◼ Microsoft Build 2021 関連セション ✓ Connect IoT data to HoloLens 2 with Azure Digital Twins and Unity https://mybuild.microsoft.com/sessions/815a692f-398b-4772-ac18-c021f5116757 (ラーニングパスの解説も兼ねているのでお勧め ) 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-
• https://mybuild.microsoft.com/sessions/815a692f-398b-4772-ac18-c021f5116757

参考リンク ◼ Qitia記事 ✓ Microsoft Build 2021で話があったMixed Realityに絡むDigital Tiwnsについての技 術要約 https://qiita.com/miyaura/items/dcd76fc796d8974fd099 ✓ Microsoft Learn 「Azure Digital Twins と Unity を使用して Mixed Reality デジタ ルツインを構築する」解説(Azure IoT Hub編) https://qiita.com/miyaura/items/14812caf737afd48a460 ✓ Microsoft Learn 「Azure Digital Twins と Unity を使用して Mixed Reality デジタ ルツインを構築する」解説(Azure Digital Twins編) https://qiita.com/miyaura/items/dc78983d7094038e9f29 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://qiita.com/miyaura/items/dcd76fc796d8974fd099
• https://qiita.com/miyaura/items/14812caf737afd48a460
• https://qiita.com/miyaura/items/dc78983d7094038e9f29