Azure IoTからのセンシングデータをXRで活用するには

Azure IoTからのセンシングデータを XRで活用するには 2022/11 ALGYAN エッジAI入門＆活用シリーズ#4『Azure IoTサービス』編 takabrz1 Takahiro Miyaura

Microsoft MVP for Mixed Reality 2018-2023 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発(とHolomagicians)コミュニティに生息 ◼ HoloLens日本販売してからxR系技術に取組む ◼最近はMixed Reality Toolkit 3と戯れている。 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

タイトルについて Azure IoTからのセンシングデータをXRで活用するには 相性がいい技術の１つだと思います。 2022/11/28 Copyright © 2022 Takahiro Miyaura 3

少しだけ前振り 2022/11/28 Copyright © 2022 Takahiro Miyaura 4

Microsoft Ignite 2022での一幕 ○ 開発者向けテクニカルカンファレンス ○ 10月13日から14日（日本時間）の2日間にかけて開催 ○ 今年はリアルイベントとオンラインイベントのハイブリッド開催の形式 ○ アーカイブで振り返ることができます 2022/11/28 Copyright © 2022 Takahiro Miyaura 5

Microsoft Igniteで語られていたMetaverse Industrial Metaverse デジタル環境を活用し現実世界でより良い結果を生み出す Digital Twinsにより デジタル⇔現実のフィードバックループを構築 ○ Design ✓ 新しい製品をどのように設計するか ○ Build ✓ 新しい製品をどのように作るか ○ Operate ✓ 作る前、動かす前に、クラウド上で無限にシミュレーションすることができれば、より良い製品を より効果的に、より効率的に作ることができる 2022/11/28 Copyright © 2022 Takahiro Miyaura 産業用メタバースの力を活用した環境、サプライ チェーン、物流業務全般をどのように運営するか 明確には言われていないが、このフィードバックループを 実現するインタフェースとしてXRの存在を意識している 模様 6

去年のカンファレンスでも・・・ BRK223:Building Digital Twins, Mixed Reality and Metaverse Apps Microsoft Build 2021 セションアーカイブ ◼ https://learn.microsoft.com/ja-jp/events/build-may-2021/azure/breakouts/brk223/ ◼ 物理的な資産や環境のデジタル ツインがあったら、どうしますか? それは、ユー ザーがシミュレーションを実行して自分にとって重要なものを検出できるように するものです。 過去を知り、未来を予測すること。 AI を適用して環境を感 じ取り、自動化すること。 Mixed Reality で、そのデジタル ツインと、そこに 含まれているすべての分析情報に、コラボレーティブに対話すること。 これらは すべて、最先端の企業が、Digital Twins、Mixed Reality、AI、IoT、そ してインテリジェント クラウドとインテリジェント エッジの機能を活用している Microsoft Cloud で起きていることです。 このようなメタバース アプリケーショ ンが変化するビジネスですばやく成果を上げられるようになる、Microsoft Cloud のサービスについて説明します。 Metaverse Capabilities (実現に必要な要素) Microsoft Mesh & HoloLens Interact Predict, Simulate, Autonomous Control Track the Past, Analyze 【要約/ポイント】 Technology stack (技術スタック) ✓ 物理環境をデジタル化によりデジタルツインを構築 Power Platform Azure AI & Microsoft Project Bonsai Azure Synapse Analytics Monitor Azure Maps, Indoor Model Azure Digital Twins ✓ 実現にはモデル化と現実とのリアルタイム同期が必要 ✓ 分析、予測、シミュレーションを通して自律的な制御を実現する ✓ Mixed Realityなどと組み合わせることでDigital Twinsを超えた Metaverseの世界を実現する ✓ 一見複雑な技術スタックは段階的に取り入れることができる 2022/11/28 Synchronize Physical World Copyright © 2022 Takahiro Miyaura Azure IoT Physical World 7

• https://learn.microsoft.com/ja-jp/events/build-may-2021/azure/breakouts/brk223/

現実の情報をセンシングでデジタル化するDigital Twinsと それをXR技術で活用することは注目されている 2022/11/28 Copyright © 2022 Takahiro Miyaura 8

本日の内容 Azure IoTからのセンシングデータをXRで活用するには ✓ 実世界の情報をセンシング ✓ デジタル空間の情報として可視化してみる 簡単なマイホームミニチュアデモでご紹介 2022/11/28 Copyright © 2022 Takahiro Miyaura 9

実世界の情報をセンシング 2022/11/28 Copyright © 2022 Takahiro Miyaura 10

今回のデモ環境 なんちゃってDigital Twinsを作ってみました。 エアコンの稼働状態を可視化 外気温 室内温度 湿度 ○ ○ ○ Azure IoT使いたかったので。。。 センシングできる機器を捜索 エアコンが小細工しやすかったです （後述） 【デモとして実現したこと】 ○ ○ ○ 2022/11/28 Copyright © 2022 Takahiro Miyaura 空調設備の稼働状況をAzure IoTへ送信 複数の機器にテレメトリ情報を同報発信 XRデバイスで可視化 ○ HoloLens / Meta Quest Pro ○ エアコンの状態でアニメーション（風向や、運転モード） 11

今回のデモ環境 2022/11/28 Copyright © 2022 Takahiro Miyaura 12

今回のデモ環境 なぜエアコン？ お家にあったのがEchonet対応していた ※Echonet＝スマートホームを実現する通信プロトコルの一種。対応機器からの情報取得や操作指示を出すことができる通信規約 https://echonet.jp/about/ チョイスな理由 ✓ node.jsで利用できるechonet-liteライブラリがある ✓ そう、そして今日のテーマであるAzure IoT 関連もNode.jsライブラリがある https://www.npmjs.com/package/echonet-lite そう！ラズパイ等の電子工作でAzure IoTへスマート家電の情報を送ることができるので Echonet対応機器であれば、いとも簡単に制御システムが作れちゃうんです！ 2022/11/28 Copyright © 2022 Takahiro Miyaura 13

• https://www.npmjs.com/package/echonet-lite
• https://echonet.jp/about/

今回のデモ環境 Azure IoT Hub Event Grid Azure Functions （System Topic） SignalR 今回は対象外 Azure Functions コントローラ (PC) Home Azure Digital Twins Event Grid データ利活用を考える場合、Azure Digital Twinsを通して実施。 ここから各種AIサービスとつなげることで活 用の幅が広がる！ テレメトリ情報 2022/11/28 Copyright © 2022 Takahiro Miyaura 14

マイホームからAzure IoT Hubへ Microsoftの公式ドキュメントとサンプルが便利です ○ 【公式ドキュメント】 https://learn.microsoft.com/ja-jp/azure/iot-develop/set-up-environment ○ 【サンプルコード】 https://github.com/Azure/azure-iot-sdk-node (azure-iot-sdk-node¥device¥samples¥javascript¥pnp_simple_thermostat.js) 最低限必要なNode モジュール ○ 【Azure IoT関連】 > npm i azure-iot-device-mqtt > npm i azure-iot-provisioning-device-mqtt > npm i azure-iot-security-symmetric-key ○ 【Echonet – Liteライブラリのインストール】 > npm i echonet-lite 2022/11/28 Copyright © 2022 Takahiro Miyaura 15

• https://learn.microsoft.com/ja-jp/azure/iot-develop/set-up-environment
• https://github.com/Azure/azure-iot-sdk-node

各種機器への情報発信はSignalR Azure上でRest API公開して利用もできますが。。。 SignalRを使える機器なら通信部品作成の手間が減る ○ 【公式ドキュメント】 https://learn.microsoft.com/ja-jp/azure/azure-functions/functions-bindings-signalrservice?tabs=in-process&pivots=programming-language-csharp ※SignalR Service メッセージを送信するサンプルが役に立ちます こちらもかなり有用なサンプル ○ Azure Digital Twins を Azure SignalR Service と統合する https://learn.microsoft.com/ja-jp/azure/digital-twins/howto-integrate-azure-signalr 2022/11/28 Copyright © 2022 Takahiro Miyaura 16

• https://learn.microsoft.com/ja-jp/azure/azure-functions/functions-bindings-signalr-
• https://learn.microsoft.com/ja-jp/azure/digital-twins/how-

XRデバイスについては ( ﾟдﾟ)ってならないでくださいね。。。 Unityで開発 ○ UnityでもSignalRのライブラリ使えます。 ○ .NET系は.netstandard 2.0に対応 ○ HoloLens 2もMeta Quest 2/Pro（いい時代） が！ SignalRがARM CPUアーキテクチャの64bitではうまくいかず。 ARM 32ビットアプリとして作成すると動いた。 ※まだ調査途中で設定ミスの可能性もあるので、参考程度で。。。 2022/11/28 Copyright © 2022 Takahiro Miyaura 17

XRデバイスについては ( ﾟдﾟ)ってならないでくださいね。。。 XR系気になる人のために【使用ライブラリ】 【Azure関連】 ○ Microsoft.AspNetCore.SignalR.Client(5.0.17) ○ System.IdentityModel.Tokens.Jwt(6.25.0) 【XRデバイス向け】 ○ MRTK3-pre.12 ○ MRTK Input(3.0.0-pre.12) ○ MRTK Standard Assets(3.0.0-pre.12) ○ MRTK UX Conpoments(3.0.0-pre.12) 【HoloLens 2用】 ○ Mixed Reality OpenXR Plugin(1.6.0) 【Meta Quest Pro用】 ○ Meta XR Utilities(46.0.0-preview) ○ Oculuc XR Plugin(3.2.2) ※IL2CPP, .netstandard2.1で32bitライブラリで作成 2022/11/28 Copyright © 2022 Takahiro Miyaura 18

補足 今回は生データ送って処理していますが Device Twins経由がお勧めだと思います。 【公式サイト】 https://learn.microsoft.com/ja-jp/azure/iot-hub/iot-hub-devguide-device-twins ○ デバイスがどういう制御/情報を扱えるかモデル化 ○ Azure Digital Twins使用するモデル言語で記述 ○ Digital Twins Definition Language(DTDL) ○ 組み込み機器⇔クラウド間の一種のデバイス規約 ○ 仕様把握やデータ処理も容易 上記サイトより図を参照 2022/11/28 Copyright © 2022 Takahiro Miyaura 19

• https://learn.microsoft.com/ja-jp/azure/iot-hub/iot-hub-devguide-device-twins

補足 今回はAzure IoT Hub Device Provisioning Service(DPS)使っています。 たまたま参照したサンプルがそうだったが本音ですがｗ 組み込み機器 Azure IoT Hub関連ライブラリ 直書き Azure IoT Hub Device 接続文字列 デバイスとAzure IoT Hubを直結した運用ではデバイス増やすときに ○ （Portalから）Azure IoT Hubにデバイスを追加し、その接続文字列などの情報を取得 ○ 通信する組み込み機器に上記の情報を設定しAzure IoT Hubと通信 機器交換や、追加のたびに結構な手間がかかります。 2022/11/28 Copyright © 2022 Takahiro Miyaura 20

補足 今回はAzure IoT Hub Device Provisioning Service(DPS)使っています。 たまたま参照したサンプルがそうだったが本音ですがｗ デバイス名[Device]でIoT Hub使いたい Azure IoT Hub DPS 組み込み機器 要求あったよ Azure IoT Hub Azure IoT Hub関連ライブラリ 接続文字列を返す なければ用意 Device 接続文字列 Azure IoT Hub DPSを入れるとAzure IoT Hub上でのデバイス管理から解放される 1. まずはDPSにAzure IoT Hubに対する接続要求を出す 2. DPSはAzure IoT Hubに問い合わせでデバイスの準備 3. Azure IoT Hubが未登録であれば自動で追加 4. デバイスに対する接続文字列を返却 5. 機器側は受け取った接続文字列でAzure IoT Hubに接続 2022/11/28 Copyright © 2022 Takahiro Miyaura 21

まとめ Azure IoTからのセンシングデータをXRで活用するには ✓ 実世界の情報をセンシング ✓ ✓ 情報をうまく分析/活用できる仕組みが必要 デモは簡易的でしたが。。。 現実世界の何を収集するかが実は重要（関心事はなに？） ✓ デジタル空間の情報として可視化してみる ✓ ✓ ✓ 不可視のものを現実に視認することで新たな気付きをえる 遠隔地でも俯瞰的な情報を共有することで作業を効率化 AIなどと組み合わせるとより役に立つかも！？ IoTを活用したデジタルツインとXRという技術は相性がいい組み合わせ 面白い仕組みが増えてくると思うので楽しみですよ 2022/11/28 Copyright © 2022 Takahiro Miyaura 22

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ 2022/11/28