「あれ」がスマホで動くのか試してみた

「あれ」がスマホで動くのか試してみた 2021/06/16 Tokyo HoloLens Meetup vol.26 takabrz1 大阪駆動開発 Takahiro Miyaura

Microsoft MVP for Windows Development 2018-2021 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality） 宮浦 恭弘 (Miyaura Takahiro) ◼ 大阪駆動開発コミュニティに生息 ◼ HoloLens日本販売してからXR系技術に取組む ◼ 普段はよくMixed Reality Toolkitに関する調査している ✓ ✓ ✓ リリース機能調べたり・・・ 面白い機能使ってみたり・・・ 新しい実験してフィードバックしたり・・・ 最近はこちらに Come Back気味 ◼ 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura

あれとはなにか・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

これ ラーニングパス「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」 https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104?WT.mc_id=MR-MVP-5003104 ◼ 利用サービス ✓ メインのサービス ✓ Azure IoT Hub ✓ ✓ IoTエッジの管理 テレメトリー情報の集約/ルーティング ✓ Azure Digital Twins ✓ ✓ ✓ 現実環境のモデル化 DTDL(JSON形式)で記述 これ自体はデータの入れ物 ✓ デバイス/サービス間連携 HoloLensで可視化 ✓ SignalR ✓ HoloLensへのデータ送信 （おそらく実際にはこれをシェアリングして使う） ✓ Azure Functions ベースがMRTKだから案外いけるのか？ 2023/2/16 ✓ サービス間データ送信 Copyright © 2021 Takahiro Miyaura

• https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-twins-unity/?WT.mc_id=MR-MVP-5003104?WT.mc_id=MR-MVP-5003104

参考：アーキテクチャ ラーニングパスのアーキテクチャはこんな感じ 8 7 SignalR 2 6 Azure IoT Hub 1 Turbine 2023/2/16 5 Event Grid 3 4 Azure Digital Twins Event Grid Azure Functions Copyright © 2021 Takahiro Miyaura HoloLens

完成予想図 モバイルできると・・・ SignalR Azure IoT Hub Event Grid Azure Digital Twins Turbine 2023/2/16 HoloLens Azure Functions Android iOS Copyright © 2021 Takahiro Miyaura

Azure IoT Hub Event Grid Azure Digital Twins Turbine 2023/2/16 Azure Functions Copyright © 2021 Takahiro Miyaura

やってみる 2023/2/16 Copyright © 2021 Takahiro Miyaura

じゃじゃーん 2023/2/16 Copyright © 2021 Takahiro Miyaura

う、動いた？・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

まぁ、うんって感じでした。。。 2023/2/16 Copyright © 2021 Takahiro Miyaura

やり方と注意点 2023/2/16 Copyright © 2021 Takahiro Miyaura

注意点 Mixed Reality Toolkit 的には全くの未検証 ラーニングパスはMRTK 2.6.1を利用 ◼ラーニングパス環境変更をしない場合・・・ ✓Unity 2020.3.8f1 ✓ARFoundation 4.1.7 ✓ARCore XR Plugin 4.1.7 ✓ARKit XR Plugin 4.1.7 2023/2/16 まだ、未サポートなものをあえてためした Copyright © 2021 Takahiro Miyaura

注意点 - その２ iOS/Android対応の手順は公式でOKでも・・・ MRTKの公式手順の設定を入れるだけでほぼOK IOS および Android 用に MRTK を構成する方法 [実験的] https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/supported-devices/using-ar-foundation?view=mrtkunity-2021-05 ◼ほぼOKって？ ✓ASP.NET Core SignalRはIL2CPPでなら一応動く(.NET standard 2.0なら) ✓iOSは変更なしで動く。 ✓Androidはデプロイ可能だがテレメトリー情報を受信すると落ちる ✓AndroidでSignalRやりたい場合は「BestHTTP（有償Asset）」等他の手段で Android資産作成時の設定の問題？ 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/supported-devices/using-ar-foundation?view=mrtkunity-2021-05

注意点 - その3 Bing Maps上に扇風機でない問題 ぱっと見ではちょっとお手上げ状態 ◼風車のモデルだけを空間出すと正常に出力 ◼Bing Maps上のオブジェクトだけ不可視になってる模様 ◼まだ精査していない・・・ 2023/2/16 Copyright © 2021 Takahiro Miyaura

まとめ ラーニングパスのサンプルをモバイルでやってみた このサンプルはそのままで共有体験もできる説 ◼ 実はSignal R（同報発信）とAzure Digital Twinsで情報同期 ◼ つまり、遠隔地でも3Dモデルで同じ状況をチェックできる ◼ たぶん、Microsoft Meshなんか使うと素敵世界がみえるかも このサンプル何かの体験には役立ちそうですよ 皆もやってみて！楽しいよ |・ω・)b 2023/2/16 Copyright © 2021 Takahiro Miyaura

おまけ：ラーニングパスを改造してみたよ Azure Maps(InDoor)追加して可視化もしてみる ◼ ラーニングパスを拡張してフロアマップ的に可視化 ◼ 先日開催の「Microsoft Build Recap Community Day」で パーソナルスポンサーとして紹介 ✓ ◼ イベントページ：https://msdevjp.connpass.com/event/213915/ サンプルコード ✓ https://github.com/TakahiroMiyaura/AzureMapsIndoorDataSamples ブラウザで平面で見るパターンを追加 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://msdevjp.connpass.com/event/213915/
• https://github.com/TakahiroMiyaura/AzureMapsIndoorDataSamples

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ 2023/2/16 Copyright © 2021 Takahiro Miyaura

参考リンク ◼ ラーニングパス ✓ 「Azure Digital Twins と Unity を使用して Mixed Reality デジタル ツインを構築する」 https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digitaltwins-unity/?WT.mc_id=MR-MVP-5003104 ◼ Microsoft Build 2021 関連セション ✓ Connect IoT data to HoloLens 2 with Azure Digital Twins and Unity https://mybuild.microsoft.com/sessions/815a692f-398b-4772-ac18-c021f5116757 (ラーニングパスの解説も兼ねているのでお勧め ) 2023/2/16 Copyright © 2021 Takahiro Miyaura

• https://docs.microsoft.com/ja-jp/learn/paths/build-mixed-reality-azure-digital-
• https://mybuild.microsoft.com/sessions/815a692f-398b-4772-ac18-c021f5116757