PLATEAU ハッカソンでMicrosoft Meshを使ってみた

576 Views

October 16, 24

#xrmtg #xr #unity #microsoft mesh #Microsoft Mesh #PLATEAU #デジタルツイン #ハッカソン #XR

スライド概要

XRミーティング 2024/10/16【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/331456/)登壇資料。
10/6-13に開催の「PLATEAU XR ＆デジタルツインハッカソン2024」でMicrosoft Mesh上にPLATEAUの都市モデルを導入し、何か空間が作れるかを検証した話。

Miyaura

@m-taka596

スライド一覧

ICT業界でソフトウェアエンジニア/アプリケーションアーキテクトを担当。社内ではXR関連技術に関する啓もう活動や技術支援に従事。業務の傍ら、XR（特にMixed Reality領域）についての開発技術の調査、開発などを行っています。また、「大阪駆動開発」コミュニティ所属しており、日々の調査で得た知見はコミュニティを通して情報発信を行っています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.83MB)

関連スライド

OpenVRやOpenXRの基本的なことを調べてみた

xrmtg openxr openvr hololens

Miyaura 23K

冬休みの宿題 - Lenovo Think Reality A3で検証(MRTK3含)

xrmtg mrtk3 mixed reality snapdragon spaces thinki reality a3

Miyaura 12K

MRTK3をLenovoのThink Reality A3上で動かす - Snapdragon Spaces SDKの紹介

hololens ホロマジ snapdragonspaces mrtk3 xr unity

Miyaura 10.2K

今更ですがちょっとMetaQuest3でMRTK3触ってみました

mixed reality xrmtg mrtk3 unity

Miyaura 9.5K

Mixed Reality Toolkit 3で始めるクロスプラットフォーム開発

xr mrtk3 metaquest3 snapdragonspaces xrkaigi

Miyaura 8.1K

Snapdragon Spaces v0.12.0 for Unityの調査(あれも試してみてる)

xrmtg mrtk3 mixed reality snapdragon spaces think reality a3

Miyaura 7.7K

各ページのテキスト

PLATEAU ハッカソンで Microsoft Meshを使ってみた 2024/10 XR ミーティング @takabrz1 Takahiro Miyaura

宮浦恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018-2025 XRは趣味です大阪駆動開発(とHolomagicians)コミュニティに生息 HoloLens日本販売してからxR系技術に取組む新しい技術や、MRに使えそうな技術を調べる技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Snapdragon Spaces ○ Mixed Reality Toolkit v3.0.0 ○ Vision Proもそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください

つくったもの Microsoft Mesh上でPLATEAUの空間を使い屋上会議する普段では体験できないところで会議する主な体験内容 ○ PLATEAUの都市データを利用 ○ 屋上に会議スペースを設置デジタルツイン要素として・・・ ○ 日の出日の入りに合わせた演出より良い会議を実現するための ○ 世界に注水する機能 2024/10/16 ゴネンゴ賞受賞しました！マスコットキャラがかわいかったのでアイスブレイカーの機能として使ったことが評価された © 2024 Takahiro Miyaura

1 Microsoft Meshについて 2 今回のシステム構成目次 3 PLATEAUをMicrosoft Meshで使う 4 Microsoft Meshのパフォーマンスは？ 5 まとめ

10.

Microsoft Mesh 3D没入空間でミーティングやイベントを実施できるサービス大きくは3つの構成 https://adoption.microsoft.com/en-us/microsoft-mesh/ Avatars for Teams Immersive Spaces in Teams Custom Immersive experiences ○ Mesh内で活用 ○ Teamsで利用可な3D空間 ○ 複数のAvatarを作成可 ○ プリセットの空間を利用 ✓ カスタマイズ不可 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ Teams内ではWebカメラの代替としても利用可 ○ Teams会議から利用可 ✓ Meta Quest ✓ PC Custom Immersive experience 利用× 2024/10/16 © 2024 Takahiro Miyaura ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 ○ Meshポータル ✓ イベント/ミーティング作成 ✓ カスタム環境の管理 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC

https://adoption.microsoft.com/en-us/microsoft-mesh/

11.

Microsoft Mesh ハッカソンでは新しくPLATEAUの3Dモデルデータを使った環境を構築しました Custom Immersive experiences https://adoption.microsoft.com/en-us/microsoft-mesh/ 既存環境のカスタマイズ(=テンプレート) 新しく環境をつくる ○ プリセット or カスタム環境を利用 ○ 空間内にオブジェクト配置 & テンプレート化 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ 現在の提供オブジェクト ✓ テキスト ✓ 動画 ✓ 画像 ✓ 画面共有 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC 2024/10/16 ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 © 2024 Takahiro Miyaura

https://adoption.microsoft.com/en-us/microsoft-mesh/

12.

13.

外部連携があるため Mesh Cloud Scriptingを利用 Mesh用に構築されたAzure App Serviceを介して情報取得 https://w//.weatherapi.com/ 該当地点の天気情報を取得 https://sunrise-sunset.org/ 日の出・日の入り情報を取得 App Service App Service Plan Virtual Network Storage Account Mesh用 Azure OpenAI Service ピーリャン回答用 2024/10/16 © 2024 Takahiro Miyaura

14.

15.

16.

17.

18.

19.

注意事項 PLATEAUの属性情報はMicrosoft Mesh内に持ち込めない属性情報を持つコンポーネントはMesh環境にアップロードできない Microsoft Meshではサポート外のコンポーネントはアップロード時にエラーになる。今回だとPLATEAUCityObjectGroupはサポート外の扱いになる。「選択した建物の属性情報を取得」といった機能を実現するためには外部のサービスに情報を格納しCloud Scripting 経由でMesh環境内で利用する 2024/9/18 © 2024 Takahiro Miyaura

20.

注意事項地上を歩くコンテンツを作りたい場合、地面オブジェクトに注意 PLATEAUの3Dモデル上を散策するためにはColliderが必要 PLATEAUの3DオブジェクトにMesh Colliderを付与するテレポートを利用する場合はLayerに[GroundCollision]を設定地面はConvexをオンにしてColliderの形状を単純化する地面の3Dオブジェクトをそのまま使うと地面は構造が複雑でポリゴン数が多いためMesh Colliderが複雑になりアップロード時にエラーになる。このため地面については ConvexをオンにしてColliderの形状をシンプル化するか、別途 Plane等シンプルなオブジェクトで地面を構築する 2024/9/18 © 2024 Takahiro Miyaura

21.

22.

Mesh環境でのパフォーマンス分析 Mesh ToolkitのAnalyzerやアップロード時に検証可能 Mesh環境のアップロード時の結果として表示される Visual Scripting マルチユーザ下で動くロジックでパフォーマンス劣化に繋がる実装がある。例)複数のユーザが同じ変数を操作しイベントが輻輳するロジック Content Performance パフォーマンス劣化に繋がるMesh環境のコンテンツが存在する例)構造が複雑でポリゴン数が大きい3Dモデルを使っている Warningが残っていると途中でパフォーマンスが低下し体験が損なわれる可能性がある 2024/10/16 © 2024 Takahiro Miyaura

23.

Mesh環境でのパフォーマンス分析 Mesh ToolkitのAnalyzerやアップロード時に検証可能 Contents Performance Analyzer PLATEAUを取り込んだ場合都市モデルの中にポリゴン数が多いオブジェクトを使ってしまう。建物よりも地面がこの制約に引っかかる。地面をPlane等で平滑化して利用 or ツールでポリゴン数を減らす実はScaniverseで取り込んだピーリャンも引っかかった ※1メッシュあたり30,000未満 2024/10/16 © 2024 Takahiro Miyaura

24.

1 Microsoft Meshについて 2 今回のシステム構成目次 3 PLATEAUをMicrosoft Meshで使う 4 Microsoft Meshのパフォーマンスは？ 5 まとめ

25.

26.

まとめ Microsoft Mesh上でPLATEAUのモデルデータが扱えるか？ ○ PLATEAUの都市データをMicrosoft Meshでも利用は可能 ○ 都市モデルの中で行動する場合はモデルに対してMesh Colliderを付与 △ 快適な環境には都市モデルの軽量化が必要 △ 属性情報は都市モデルと一緒に利用することはできない ✓ 外部ストレージなどMesh環境とは別に管理する必要がある Microsoft Mesh上で都市モデルを扱えば・・・都市の中で疑似体験したり、デジタルツイン化された都市を前に議論したりと少し違ったオンライン会議も可能になるかも？ 2024/10/16 © 2024 Takahiro Miyaura

27.

大阪駆動開発関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ

28.

29.

30.

Microsoft Mesh Custom Immersive Spaceをゼロから作る – Mesh Toolkitの導入 Mesh Toolkitのレジストリ登録 Project Settingsから ○ Package Managerの項目で以下を入力 2024/10/16 © 2024 Takahiro Miyaura ✓ Name: Mesh Toolkit ✓ URL: https://registry.npmjs.org ✓ Scopes(s): com.microsoft

https://registry.npmjs.org

31.