PLATEAU ハッカソンでMicrosoft Meshを使ってみた

PLATEAU ハッカソンで Microsoft Meshを使ってみた 2024/10 XR ミーティング @takabrz1 Takahiro Miyaura

宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018-2025 XRは趣味です 大阪駆動開発(とHolomagicians)コミュニティに生息 HoloLens日本販売してからxR系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Snapdragon Spaces ○ Mixed Reality Toolkit v3.0.0 ○ Vision Proもそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

2024/10/06～2024/10/13 PLATEAU XR ＆ デジタルツイン ハッカソン2024 2024/10/16 © 2024 Takahiro Miyaura

PLATEAU XR ＆ デジタルツイン ハッカソン2024 DAY 1 2024/10/16 XRミーティングでおなじみの各地域のコミュニティが各 地のオフライン会場を作ってみんなでPLATEAUをハッ クするイベント © 2024 Takahiro Miyaura DAY 2

つくったもの Microsoft Mesh上でPLATEAUの空間を使い屋上会議する 普段では体験できないところで会議する 主な体験内容 ○ PLATEAUの都市データを利用 ○ 屋上に会議スペースを設置 デジタルツイン要素として・・・ ○ 日の出日の入りに合わせた演出 より良い会議を実現するための ○ 世界に注水する機能 2024/10/16 ゴネンゴ賞受賞しました！ マスコットキャラがかわいかったのでアイスブレイカー の機能として使ったことが評価された © 2024 Takahiro Miyaura

・・・という話の中で PLATEAU使ってMicrosoft Meshで空間作れるかチャレンジをしていた という話をしまっす！ 2024/10/16 © 2024 Takahiro Miyaura

ということで今日も Microsoft Meshの話 2024/10/16 © 2024 Takahiro Miyaura

1 Microsoft Meshについて 2 今回のシステム構成 目次 3 PLATEAUをMicrosoft Meshで使う 4 Microsoft Meshのパフォーマンスは？ 5 まとめ

Microsoft Meshについて 2024/10/16 © 2024 Takahiro Miyaura

Microsoft Mesh 3D没入空間でミーティングやイベントを実施できるサービス 大きくは3つの構成 https://adoption.microsoft.com/en-us/microsoft-mesh/ Avatars for Teams Immersive Spaces in Teams Custom Immersive experiences ○ Mesh内で活用 ○ Teamsで利用可な3D空間 ○ 複数のAvatarを作成可 ○ プリセットの空間を利用 ✓ カスタマイズ不可 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ Teams内ではWebカメラの 代替としても利用可 ○ Teams会議から利用可 ✓ Meta Quest ✓ PC Custom Immersive experience 利用× 2024/10/16 © 2024 Takahiro Miyaura ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 ○ Meshポータル ✓ イベント/ミーティング作成 ✓ カスタム環境の管理 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC

• https://adoption.microsoft.com/en-us/microsoft-mesh/

Microsoft Mesh ハッカソンでは新しくPLATEAUの3Dモデルデータを使った環境を構築しました Custom Immersive experiences https://adoption.microsoft.com/en-us/microsoft-mesh/ 既存環境のカスタマイズ(=テンプレート) 新しく環境をつくる ○ プリセット or カスタム環境を利用 ○ 空間内にオブジェクト配置 & テンプレート化 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ 現在の提供オブジェクト ✓ テキスト ✓ 動画 ✓ 画像 ✓ 画面共有 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC 2024/10/16 ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 © 2024 Takahiro Miyaura

• https://adoption.microsoft.com/en-us/microsoft-mesh/

今回のシステム構成 2024/10/16 © 2024 Takahiro Miyaura

外部連携があるため Mesh Cloud Scriptingを利用 Mesh用に構築されたAzure App Serviceを介して情報取得 https://w//.weatherapi.com/ 該当地点の天気情報を取得 https://sunrise-sunset.org/ 日の出・日の入り情報を取得 App Service App Service Plan Virtual Network Storage Account Mesh用 Azure OpenAI Service ピーリャン回答用 2024/10/16 © 2024 Takahiro Miyaura

• https://w//.weatherapi.com/
• https://sunrise-sunset.org/

日の出、日の入 sunrise-sunset.orgから3DモデルのGPSデータで取得 ○ 日の出、日の入の前後10分日の出と日の入りが楽しめる。 ○ お天気情報もとってきています。 ○ もちろん日中、夜も 2024/9/18 © 2024 Takahiro Miyaura

おしえてピーリャン 3Dモデルの情報を使ってピーリャンが教えてくれる ○ 今回は屋上会議スペースの建 物のみ ○ Azure OpenAI Serviceを 使ってみて・・・ 2024/9/18 © 2024 Takahiro Miyaura

Emagencyボタン 水没する世界の中で・・・ 2024/9/18 © 2024 Takahiro Miyaura

PLATEAUをMicrosoft Meshで使う 2024/10/16 © 2024 Takahiro Miyaura

PLATEAU SDKで情報を取得 取り込みたい都市空間を選択してモデル情報としてエクスポート Mesh Toolkitを設定したプロジェクトにモデルを読み込ませる Microsoft Meshでは SDKから[Assetに保存]したフォルダの情報を利用する ※属性情報がついていない3D都市モデルを使う 2024/9/18 © 2024 Takahiro Miyaura

注意事項 PLATEAUの属性情報はMicrosoft Mesh内に持ち込めない 属性情報を持つコンポーネントはMesh環境にアップロードできない Microsoft Meshでは サポート外のコンポーネントはアップロード時にエラー になる。今回だとPLATEAUCityObjectGroupは サポート外の扱いになる。 「選択した建物の属性情報を取得」といった機能を実現するた めには外部のサービスに情報を格納しCloud Scripting 経由でMesh環境内で利用する 2024/9/18 © 2024 Takahiro Miyaura

注意事項 地上を歩くコンテンツを作りたい場合、地面オブジェクトに注意 PLATEAUの3Dモデル上を散策するためにはColliderが必要 PLATEAUの3DオブジェクトにMesh Colliderを付与する テレポートを利用する場合はLayerに[GroundCollision]を設定 地面はConvexをオンにしてColliderの形状を単純化する 地面の3Dオブジェクトをそのまま使うと 地面は構造が複雑でポリゴン数が多いためMesh Colliderが 複雑になりアップロード時にエラーになる。このため地面については ConvexをオンにしてColliderの形状をシンプル化するか、別途 Plane等シンプルなオブジェクトで地面を構築する 2024/9/18 © 2024 Takahiro Miyaura

PLATEAUの3Dモデルと使うと Microsoft Meshのパフォーマンスは？ 2024/10/16 © 2024 Takahiro Miyaura

Mesh環境でのパフォーマンス分析 Mesh ToolkitのAnalyzerやアップロード時に検証可能 Mesh環境のアップロード時の結果として表示される Visual Scripting マルチユーザ下で動くロジックでパフォーマンス劣化に繋がる実装がある。 例)複数のユーザが同じ変数を操作しイベントが輻輳するロジック Content Performance パフォーマンス劣化に繋がるMesh環境のコンテンツが存在する 例)構造が複雑でポリゴン数が大きい3Dモデルを使っている Warningが残っていると 途中でパフォーマンスが低下し体験が損なわれる可能性がある 2024/10/16 © 2024 Takahiro Miyaura

Mesh環境でのパフォーマンス分析 Mesh ToolkitのAnalyzerやアップロード時に検証可能 Contents Performance Analyzer PLATEAUを取り込んだ場合 都市モデルの中にポリゴン数が多いオブジェ クトを使ってしまう。建物よりも地面がこの制 約に引っかかる。 地面をPlane等で平滑化して利用 or ツールでポリゴン数を減らす 実はScaniverseで取り込んだピーリャンも引っかかった ※1メッシュあたり30,000未満 2024/10/16 © 2024 Takahiro Miyaura

1 Microsoft Meshについて 2 今回のシステム構成 目次 3 PLATEAUをMicrosoft Meshで使う 4 Microsoft Meshのパフォーマンスは？ 5 まとめ

まとめ 2024/10/16 © 2024 Takahiro Miyaura

まとめ Microsoft Mesh上でPLATEAUのモデルデータが扱えるか？ ○ PLATEAUの都市データをMicrosoft Meshでも利用は可能 ○ 都市モデルの中で行動する場合はモデルに対してMesh Colliderを付与 △ 快適な環境には都市モデルの軽量化が必要 △ 属性情報は都市モデルと一緒に利用することはできない ✓ 外部ストレージなどMesh環境とは別に管理する必要がある Microsoft Mesh上で都市モデルを扱えば・・・ 都市の中で疑似体験したり、デジタルツイン化された都市を前に議論したりと少し 違ったオンライン会議も可能になるかも？ 2024/10/16 © 2024 Takahiro Miyaura

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ

（参考）Custom Immersive Spaceをゼロから作る Unityプロジェクトの作成とMesh Toolkitの導入 2024/10/16 © 2024 Takahiro Miyaura

Microsoft Mesh Custom Immersive Spaceをゼロから作る – プロジェクト作成 Unityプロジェクト作成 Universal 3Dで作る ○ Unity 2022.3.34f1 サポート外バージョンはデプロイ できないことがあるので注意 2024/10/16 © 2024 Takahiro Miyaura

Microsoft Mesh Custom Immersive Spaceをゼロから作る – Mesh Toolkitの導入 Mesh Toolkitのレジストリ登録 Project Settingsから ○ Package Managerの項目で以 下を入力 2024/10/16 © 2024 Takahiro Miyaura ✓ Name: Mesh Toolkit ✓ URL: https://registry.npmjs.org ✓ Scopes(s): com.microsoft

• https://registry.npmjs.org

Microsoft Mesh Custom Immersive Spaceをゼロから作る – Mesh Toolkitの導入 Mesh Toolkitのインポート Package Managerから ○ Packagesを[My Registories]に変更 ○ Microsoft Mesh Toolkitを インポート 2024/10/16 © 2024 Takahiro Miyaura