20241218_MeshToolkitBasic_MeshTriggerAnchorTether

Mesh Toolkit Avatar制御を簡単にする機能 & おまけの色々情報 2024/12 XR ミーティング @takabrz1 Takahiro Miyaura

宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for Mixed Reality 2018-2025 XRは趣味です 大阪駆動開発(とHolomagicians)コミュニティに生息 HoloLens日本販売してからxR系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Snapdragon Spaces ○ Mixed Reality Toolkit v3.0.0 ○ Vision Proもそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

XRMTGで時々話すMeshで遊ぶシリーズ 今日はAvatarに作用する何かを作る時に使える機能 2024/12/18 © 2024 Takahiro Miyaura

こういう感じで 東京タワーにのぼれるFlying モノリス他 2024/12/18 © 2024 Takahiro Miyaura

ということで今日の Microsoft Meshの話は。。。 Avatar Trigger Avatar Anchor Avatar Tether 2024/12/18 © 2024 Takahiro Miyaura

1 Microsoft Meshについて 2 Avatar制御に使える機能について 目次 3 実装 4 OMAKE: MiRZAで・・・

Microsoft Meshについて 2024/12/18 © 2024 Takahiro Miyaura

Microsoft Mesh 3D没入空間でミーティングやイベントを実施できるサービス https://adoption.microsoft.com/en-us/microsoft-mesh/ Mesh in Teams, built into your Teams meeting experience, elevates engagement with readymade 3D immersive spaces crafted to suit your everyday meeting needs, whether it’s a team social gathering, brainstorming session, or a round-table discussion. Microsoft Mesh allows you to host larger events in custom immersive spaces that are tailored to your specific business needs, like all-hands meetings, onboarding, training, or simulations. Use a no-code editor to easily customize the event or the Mesh toolkit to leverage the power of Unity for fully customizable immersive experiences. 引用:https://adoption.microsoft.com/en-us/microsoft-mesh/ 機械翻訳・・・ Mesh in Teamsは、Teamsのミーティングエクスペリエンスに組み込まれており、チームの親睦会、ブレーンストーミングセッショ ン、円卓会議など、日常的なミーティングのニーズに合わせて作られた既製の3D没入型スペースで、エンゲージメントを高めま す。 Microsoft Meshを使用すると、全員ミーティング、新入社員研修、トレーニング、シミュレーションなど、特定のビジネスニーズ に合わせたカスタム没入型スペースで大規模なイベントを開催できます。コード不要のエディタを使用してイベントを簡単にカスタ マイズするか、Meshツールキットを使用してUnityのパワーを活用し、完全にカスタマイズ可能な没入型体験を実現できます。 2024/12/18 © 2024 Takahiro Miyaura

• https://adoption.microsoft.com/en-us/microsoft-mesh/

Microsoft Mesh 大きくは3つの構成 https://adoption.microsoft.com/en-us/microsoft-mesh/ Avatars for Teams Immersive Spaces in Teams Custom Immersive experiences ○ Mesh内で活用 ○ Teamsで利用可な3D空間 ○ 複数のAvatarを作成可 ○ プリセットの空間を利用 ✓ カスタマイズ不可 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ Teams内ではWebカメラの 代替としても利用可 ○ Teams会議から利用可 ✓ Meta Quest ✓ PC Custom Immersive experience 利用× 2024/12/18 © 2024 Takahiro Miyaura ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 ○ Meshポータル ✓ イベント/ミーティング作成 ✓ カスタム環境の管理 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC

• https://adoption.microsoft.com/en-us/microsoft-mesh/

Microsoft Mesh 今日の話するのはCustom Immersive experiencesでオリジナルの空間を作る時の話 Custom Immersive experiences https://adoption.microsoft.com/en-us/microsoft-mesh/ 既存環境のカスタマイズ(=テンプレート) 新しく環境をつくる ○ プリセット or カスタム環境を利用 ○ 空間内にオブジェクト配置 & テンプレート化 ○ Unityで自由な空間作成 ✓ Mesh Toolkitで開発 ○ 現在の提供オブジェクト ✓ テキスト ✓ 動画 ✓ 画像 ✓ 画面共有 ○ Mesh Appを利用 ✓ Meta Quest ✓ PC ○ 既存環境をカスタイズ ✓ 既製の空間に装飾 今日もこっちの話 2024/12/18 © 2024 Takahiro Miyaura

• https://adoption.microsoft.com/en-us/microsoft-mesh/

Avatar制御に使える機能について 2024/12/18 © 2024 Takahiro Miyaura

Microsoft Mesh Avatar制御に使える機能について 空間内でAvatarに対して作用する仕掛けを作る時に利用 https://learn.microsoft.com/ja-jp/mesh/develop/enhance-your-environment/avatar-and-object-interactions/triggers-anchors-and-tethers?wt.mc_id=WDIT-MVP-5003104 Avatar Trigger ○ AvatarとのCollisionを検知 Avatar Anchor ○ 特定オブジェクトをAvatar用のアンカーにする Aavatar Tether ○ Avatarを拘束する 2024/12/18 © 2024 Takahiro Miyaura

• https://learn.microsoft.com/ja-jp/mesh/develop/enhance-your-environment/avatar-and-object-interactions/triggers-anchors-and-tethers?wt.mc_id=WDIT-MVP-5003104

Avatar制御 実装 2024/12/18 © 2024 Takahiro Miyaura

Avatar Trigger Avatarとオブジェクトの衝突を判定できる Avatarだけ衝突したときのみ処理する実装を簡素化 実装手順 Triggerモードにする 1. Collider付のオブジェクトを用意する 1. IsTriggerにチェック 2. Avatar Triggerコンポーネントを追加 ※ Visual Scriptingで AvatarTrigger.GetLocalAvatarinTriggerプ ロパティを監視する ✓ true:Avatarが衝突 ✓ False:Avatarは衝突していない 2024/12/18 © 2024 Takahiro Miyaura

Avatar Trigger Avatarとオブジェクトの衝突を判定できる Visual Scriptingの実装（判定部分） 今回は衝突したときに処理を実施 Avatar Triggerを設定したオブジェクトに対して 以下の条件で以降の処理を実施 Avatarが衝突した(false⇒true) Avatarが抜けた(true⇒false) モノリスに乗るとエレベータが動くのはこの仕組みで実現 2024/12/18 © 2024 Takahiro Miyaura

Avatar Anchor Avatarを強制移動するオブジェクトを作ることが可能 乗り物など移動体にAvatarを乗せて移動する表現に使う 実装手順 Triggerモードにする 1. Collider付のオブジェクトを用意する 1. IsTriggerにチェック 2. Avatar Avatarコンポーネントを追加 3. このオブジェクトを文字通り自走させる ※ モノリスエレベータや壁が迫ってきて穴に落ちるトラップのよう なものはこのコンポーネントは不要 2024/12/18 © 2024 Takahiro Miyaura

Avatar Tether Avatarに対してオブジェクトを拘束する １人だけ利用できるオブジェクトを作る際に利用 １ 3 5 何かのアクション（タップ）で Avatar tetherを有効にする Avatar Tetherを セットしたオブジェクト 拘束中は他のAvatarは Tetherできない 誰もtetherを 有効にしていなければ利用可能 ２ 4 2024/12/18 拘束の解除 主動/自動が可能 © 2024 Takahiro Miyaura Avatar Tetherで設定された Positionに強制移動 & 拘束

Avatar Tether Avatarに対してオブジェクトを拘束する Tether時の挙動、Tether解除について設定 Inspectorパネルの設定 ○ Tether Transform ✓ Tether時のオブジェクトのTransform ○ Avatar Tether Point ✓ Avatarが拘束される体の部位 ○ Allow Rotation ✓ Tether時にAvatarが回転できるか ○ Allow Teleport ✓ Tether時にTeleportを許可するか ○ Automatic Untethering Tether自動解除の設定 ○ Untether Via Attempted Movement Tether地点から少しでも動けば解除する（PC用） ○ Track HMD Movement Tether地点から移動したら解除する(HMD用) 2024/12/18 © 2024 Takahiro Miyaura ○ Enforce HMD Tether Tether地点を強制するか

Avatar Tether Avatarに対してオブジェクトを拘束する Visual Scriptingの実装 Avatar Tetherを有効にする オブジェクトの選択状態に応じて 以下の条件で以降の処理を実施 オブジェクトを選択した(false⇒true) オブジェクトの選択を解除した(true⇒false) 今回はAvatar Tetherの設定でAvatarがオブジェクトから抜け出すと自動的にTether解除する設定 2024/12/18 © 2024 Takahiro Miyaura

今月のMeshは以上！ 2024/12/18 © 2024 Takahiro Miyaura

OMAKE：MiRZAで・・・ 2024/12/18 © 2024 Takahiro Miyaura

MiRZA 体験会 in 熊本のどこかの居酒屋 地元のメンバーを会うとなったらやはりこれ 居酒屋でも体験しやすい ✓ 眼鏡形状は体験させる/する方も手軽 ✓ デバイス体験で盛り上がってました。 評価は高かったです。 2024/12/18 © 2024 Takahiro Miyaura

そのMiRZA XR Kaigi 2024でも出展してました。ブースは盛況。中の人とも色々話できた。 12/10に色々リリースがあったので共有 MiRZAライブラリの公開 MiRZAデバイスに関するAPIライブラリ。 眼鏡のツル部分にタッチ操作できるインタフェース等の制御も可能 https://w//.devices.nttqonoq.com/developer/doc/mirza-library/overview MiRZAファームのアップデート ○ 無線ディスプレイ機能（体験版）の追加 (いわゆるMiracastデバイスとして使える) https://www.devices.nttqonoq.com/support/xrd-t01/manual/000000226626.html ○ MiRZAのマイク機能強化（モードで指向性を変更できる） ○ 母艦との接続安定性の向上！ ○ その他修正 2024/12/18 © 2024 Takahiro Miyaura

• https://w//.devices.nttqonoq.com/developer/doc/mirza-library/overview
• https://www.devices.nttqonoq.com/support/xrd-t01/manual/000000226626.html

1 Microsoft Meshについて 2 Avatar制御に使える機能について 目次 3 実装 4 OMAKE: MiRZAで・・・

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ

（参考）Custom Immersive Spaceをゼロから作る Unityプロジェクトの作成とMesh Toolkitの導入 2024/12/18 © 2024 Takahiro Miyaura

Microsoft Mesh Custom Immersive Spaceをゼロから作る – プロジェクト作成 Unityプロジェクト作成 Universal 3Dで作る ○ Unity 2022.3.34f1 サポート外バージョンはデプロイ できないことがあるので注意 2024/12/18 © 2024 Takahiro Miyaura

Microsoft Mesh Custom Immersive Spaceをゼロから作る – Mesh Toolkitの導入 Mesh Toolkitのレジストリ登録 Project Settingsから ○ Package Managerの項目で以 下を入力 2024/12/18 © 2024 Takahiro Miyaura ✓ Name: Mesh Toolkit ✓ URL: https://registry.npmjs.org ✓ Scopes(s): com.microsoft

• https://registry.npmjs.org

Microsoft Mesh Custom Immersive Spaceをゼロから作る – Mesh Toolkitの導入 Mesh Toolkitのインポート Package Managerから ○ Packagesを[My Registories]に変更 ○ Microsoft Mesh Toolkitを インポート 2024/12/18 © 2024 Takahiro Miyaura