Meta XR SDK(V60)でQuestアプリを開発

META XR SDK(V60)でQUESTアプリ開発 XR CORE SDK + XR INTERACTION SDKの使い方 UPDATE : 2024-04-20

大久保 聡 Mail [email protected] Twitter ＠followapp

Meta XR SDK の最新バージョンは64です。 V64版の資料は別は下記に作成していきます。 https://www.docswell.com/s/Ovjang/KLLYLG-MetaXRSDK62

• https://www.docswell.com/s/Ovjang/KLLYLG-MetaXRSDK62

目次 1. 2. 環境構築 SDKパッケージ内容 プロジェクトの設定 Building Blockの利用 ハンドで物をつかむ コントローラーを使う 12. Direct touch UI(手でさわって選ぶUI)の作成 13. Curved UIの作成 14. Curved UIにRay機能を追加する方法 15. Controller Handsの使い方 16. 手のポーズ(ジェスチャー)を認識させる 3. Building Blockでパススルーを設定する 17. パススルーをオリジナルのシーンに組み込む 4. ハンドとコントローラーをプレハブから組み立てる 18. パススルーを動的に切り替える 5. Interaction SDKを使う 19. Scene managerを使う 6. ハンドとコントローラにつかむ設定を入れる 20. スぺーシャルアンカーによる位置合わせ 7. つかまれる側の設定 21. Depth APIを試す 8. Hand Poseの作り方 22. Depth APIをオリジナルのシーンに組み込む 9. 反対側のハンドのポーズの作り方 23. ハンドとコントローラーのマルチモーダル(同時利用) 10. 遠くの物(Game Object)を選択する 11. Pokeでボタン操作 24. 実機でのDebug

目次 25. XR Audioを試す 26. コントローラーでの移動 27. コントローラーでテレポート移動 28. 音に合わせてコントローラーを振動させる 29. 現実のキーボードを仮想空間に表示させる

環境構築  環境設定については、PluginとProject Settingsの一部を入れていますが、細かな部分は解説されて いるHomeページがたくさんありますので省略します。  プロジェクトはURPで作成しています。  検証済みのバージョンの組み合わせは下記の通りです。  Unity 2022.3.12f1 Meta XR SDK 59.0.0 Oculus XR Plugin 4.1.2  Unity 2022.3.15f1 Meta XR SDK 60.0.0 Oculus XR Plugin 4.1.2

V59→V60の変更点の一部  Splash Screenでパススルーの利用ができます。  Inside-Out Body Tracking (IOBT) と Generative Legs が利用可能。 IOTB は、上半身の動きをよ り自然に再現。Generative Legs は脚の動きをより自然に再現することが可能になります。

SDKの提供方法の変更  v59以降、全部入りのOculus Integrationは廃止され、個別のパッケージとして提供されるようにな ります。また全部入りは、Meta XR All-in-One SDKヘルパーパッケージとして提供されます。  Meta XR SDK(v59)版は、Unity Asset Store https://assetstore.unity.com/publishers/25353 からダウンロード可能です。

• https://assetstore.unity.com/publishers/25353

パッケージの内容①  coreを基本に必要なものを足すスタイルです。 com.meta.xr.sdk.core カメラ リグ、タッチ コントローラー、ハンド トラッキング、コンポジション レイヤー、パススルー、アンカー、 シーン管理など、Meta XR ヘッドセットが提供する多くの重要な機能が含まれています。 com.meta.xr.sdk.interaction コントローラー、⼿、およびコントローラーを⼿としてレイ、ポーク、ロコモーション、グラブなどのインタラク ションを追加します。各インタラクションはモジュール式に設計されており、単純な VR アプリケーションと複雑 な VR アプリケーションの両⽅で動作します。インタラクション SDK には、⼿固有のインタラクション、ポーズ とジェスチャの検出、ビジュアルのデバッグなど、⼿専⽤の機能もあります。 com.meta.xr.sdk.interaction.ovr.samples プレーヤー リグの OVR バリアントを使⽤した、インタラクション SDK のサンプル シーン、プレハブ、アート ア セットが含まれています。 com.meta.xr.sdk.audio 頭部伝達関数 (HRTF) ベースのオブジェクトやアンビソニック空間化、室内⾳響シミュレーションなどの空間オー ディオ機能を提供します。これは、Oculus Spatializer プラグインの代替品です。 com.meta.xr.sdk.voice Voice SDKを使⽤してアプリに⾳声インタラクションを導⼊し、⼈々が周囲の環境や他の⼈々と対話するためのよ り⾃然かつ柔軟な⽅法でエクスペリエンスを強化します。

パッケージの内容②  ソーシャルVRアプリ用のplatformが提供されます。 com.meta.xr.simulator Meta Quest ヘッドセットと機能のシミュレーションを可能にする、開発者向けに構築された軽量の OpenXR ラ ンタイムです。ヘッドセットを頻繁に着脱する必要がなく、アプリのテストとデバッグが可能になるため、⽇々の開 発が容易になり、テスト環境のセットアップを簡素化することで⾃動化のスケールアップに役⽴ちます。 com.meta.xr.sdk.platform プラットフォーム SDKを使⽤してソーシャル VR アプリケーションを作成します。SDK の個々のコンポーネント を使⽤して、マッチメイキング、DLC、アプリ内購⼊、クラウド ストレージ、ボイス チャット、カスタム アイテ ム、実績などをエクスペリエンスに追加します。 com.meta.xr.sdk.interaction.ovr このパッケージにより、Interaction SDK が OVRPlugin と連携できるようになります。OVRPlugin または Utilities パッケージを使⽤している場合は、このパッケージを使⽤します。

提供されているASSET①  パッケージ構成とほぼ内容は重複しますが、用意されているAssetのくくりは下記のようになっていま す。Core SDKとInteraction SDKが基本となるAssetです。 Meta XR Core SDK VRのコア機能、コンポーネント、スクリプト、およびプラグインをまとめたもので、UnityにおけるMeta Questアプリ開発プロセスを容易にす るとともに、その質を向上させるためのものです。Unityとのシームレスな統合が可能になるほか、さまざまなレンダリング機能、ソーシャルやコ ミュニティの構築、サンプルフレームワーク、オーディオ、およびアバターの開発サポートを活用するための一連のSDKがバンドルされています。 既存の Oculus Integrations パッケージ内の VR フォルダーに相当します。 Meta XR Utilities SDK Meta XR Utilities SDKは廃止され、Meta XR Core SDKに変更されました。 Meta XR Interaction SDK コントローラーとハンドのインタラクションと体の姿勢検出をエクスペリエンスに追加するコンポーネントのライブラリです。このパッケージに は、コントローラーとハンドのインタラクションと体の姿勢検出に使用される Interaction SDK に固有のコンポーネントが含まれています。こ のパッケージは、既存の Oculus Integrations パッケージ内の Interaction フォルダーに相当します。 Meta XR SDK Shared Assets Meta integration SDKsのパッケージ全体で使用される共有アセットを提供します。他の Meta サンプルおよびパッケージで使用される共有ア セットを提供します。このパッケージは、スタンドアロン パッケージとしてではなく、他の Meta SDK への依存関係として取得する必要があり ます。

提供されているASSET②  空間オーディオ、音声でのコマンド入力、STT(Speech to text)などの機能が含まれるAssetです。 Meta XR Audio SDK Meta XR Audio SDK には、HRTF を備えた空間オーディオ レンダラー、アンビソニック オーディオ再生、イマーシブ環境を作成するための室 内音響など、イマーシブ アプリケーション向けの包括的な空間オーディオ機能が含まれています。 このパッケージは、既存の Oculus Integrations パッケージ内の Audio フォルダーに相当します。 Meta Voice SDK - Immersive Voice Commands アプリ エクスペリエンスに音声対話を導入できます。Voice SDK を使用すると、人々がアプリを操作するためのより自然かつ柔軟な方法で AR/VR エクスペリエンスを強化できます。たとえば、音声コマンドによりコントローラーのアクションを 1 つのフレーズでショートカットしたり、 インタラクティブな会話によりアプリをより魅力的にしたりできます。 Meta Voice SDK - Telemetry Voice SDK の依存関係であり、VoiceSDK とその関連パッケージの動作に関するインサイトを提供し、すべてのユーザーのエクスペリエンスを向 上させることができます。Voice SDK を使用する場合、テレメトリ(製品の品質向上データ)をオプトイン(利用者の許諾)またはオプトアウト(利用 者が拒否)できます。 Meta Voice SDK - Composer インタラクティブな会話を設計するための Wit.ai(自然言語処理を支援する無償のサービス) の新機能である Composer のサポートを提供します。 Composer は、インテントを理解し、クライアント側のアクションをトリガーし、会話の流れに基づいて静的または動的応答を提供できるグラフ ベースのダイアログ デザイナーです。 Meta Voice SDK - Dictation アプリで音声をリアルタイムで効率的にテキストに書き写すことができます。ディクテーション機能は、音声コマンドに使用するように設計されて いるのではなく、テキスト入力モダリティとして使用するように設計されています。正規表現を使用して解析し、コマンドの処理に使用することも できますが、テキストは人間が読める形式でフォーマットされます。 Meta XR Haptics SDK 触覚クリップを Quest コントローラーで再生する。ハプティック クリップを再生すると、クリップに保存されている振動パターンに従ってコント ローラーが振動します。

提供されているASSET③  開発時に利用できるシミュレーター、XRマルチプレイ用のAsset類などです。 Meta XR Simulator Meta Quest ヘッドセットと機能のシミュレーションを可能にする、開発者向けに構築された軽量 XR ランタイムです。ヘッドセットを頻繁に着脱 する必要がなく、アプリのテストとデバッグが可能になるため、日常の開発が容易になり、テスト環境のセットアップを簡素化することで自動化の スケールアップに役立ちます。 Meta XR Platform SDK ソーシャル VR アプリケーションを作成します。SDK の個々のコンポーネントを使用して、マッチメイキング、DLC、アプリ内購入、クラウド ストレージ、ボイス チャット、カスタム アイテム、実績などをエクスペリエンスに追加します。 Meta XR Interaction SDK OVR Integration Interaction SDK が OVRPlugin と連携できるようになります。OVRPlugin または Utilities パッケージを使用している場合は、このパッケージ を使用します。コントローラーとハンドのインタラクションと体の姿勢検出をエクスペリエンスに追加するコンポーネントのライブラリです。この パッケージには、コントローラーとハンドのインタラクションと体の姿勢検出に使用される Interaction SDK に固有のコンポーネントが含まれて います。このパッケージは、既存の Oculus Integrations パッケージ内の Interaction フォルダーに相当します。 Meta XR Interaction SDK OVR Samples サンプルシーンとプレハブが含まれます。

提供されているASSET④  前述のAsset①～③のAssetをまとめたものになります。インストールすると下記のように がついて るものが全部インストールされます。 Meta XR All-inOne SDK Core SDK、Interaction SDK、Voice SDK、Platform SDK などのいくつかの SDK がバンドル

ASSETの購入(無料)  Unity Asset Store https://assetstore.unity.com/publishers/25353 から、購入(Add to My Assets)します。  12個全部をとりあえず、購入しておけばよいと思います。

• https://assetstore.unity.com/publishers/25353

プロジェクトの作成  本資料では、でプロジェクトを作成します。  テンプレートから３D(URP)を選択し、プロジェクトを作成を選択します。

プロジェクトにASSETを追加  Package Managerを開き、My Assetsから購入したMeta SDKを検索します。

CORE SDKのインストール  Meta XR Core SDKを選択し、Installします。

TIPS：サンプルプログラム  Meta XR Core SDKのサンプルプログラムはこちらからインポートできます。

INTERACTION SDK のインストール  Meta XR Interaction SDK OVR Integrationをインストールします。

XR PLUGINのインポート  Oculus XR PluginをUnity RegistryからV4.1.2をインポート。V4.1以降が表示されない場合は次 ページを参考にしてください。

PLUGINのインポート  Unity2022.3以降4.1以降で正式にQuest3対応されているので、 Package Managerに4.1が無い 場合はgit URLを指定してインポートしてください。

PROJECT設定①  Project Settingsを開き、XR Plug-in Managementの設定もいい感じに終わらせる。

プロジェクト設定②  ターゲットデバイスを設定する。

OCULUS PROJECT SETUP TOOL  Project SettingsのOculusにあるChecklistを確認し、Outstanding IssuesとRecommended Itemsを確認する。WindowsプラットフォームとAndroidプラットフォームの推奨項目をチェックし 対応します。

BUILDING BLOCKSの利用

BUILDING BLOCKSで基本のシーン作成  メニューからBuilding Blocksを開きます。数がどんどん増えてます。

CAMERA RIGを配置する  頭の部分に相当するCamera RigをドラッグアンドドロップでHierarchyに配置します。

原点を床位置に設定する。  Camera Rigを選択し、OVR ManagerのOrigin TypeをFloor Levelに設定します。

HAND TRACKINGを配置する  手に相当するHand TrackingをドラッグアンドドロップでHierarchyに配置します。

SYNTHETIC HANDSを配置する  Synthetic HandsをドラッグアンドドロップでHierarchyに配置します。

ハンドでつかめるアイテムを配置する  ハンドでつかめるアイテム、GrabbableをドラッグアンドドロップでHierarchyに配置します。  シーン上でGrabbable Itemを、つかみやすい位置に移動させます。

QUEST LINKでPCに接続し実行  USBケーブル(Air Link)でパソコンにQuestを接続します。  UnityのPlayボタンを押下し実行します。ハンドトラッキングで手が表示され、つかめるオブジェクト が手でつかむことが確認できます。

コントローラーを使う場合  コントローラに相当するController TrackingをドラッグアンドドロップでHierarchyに配置します。

BUILDING BLOCKでパススルーを設定する BUILDING BLOCKSを使う場合

CAMERA RIGを配置する  頭の部分に相当するCamera RigをドラッグアンドドロップでHierarchyに配置します。

パススルーを使う  Background PassthroughをドラッグアンドドロップでHierarchyに配置します。

パススルーをQUEST LINK経由で利用する場合  パソコンのOculusアプリの設定でQuest Link経由でのパススルーにチェックをいれる必要があります。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。

ハンドとコントローラーをプレハブから組み立てる

ヘッドトラッキングの設定  新規にシーンを作成します。  Packagesフォルダにある、Meta XR COre SDKのPrefabsフォルダにある。OVRCameraRigを Hierarchy(Scene)上にドラッグアンドドロップします。これで基本の頭のトラッキングができます。  不要になったMain Cameraを削除します。

ヘッドトラッキングの設定  OVRCameraRigのOrigin TypeをFloor Levelにしておくと良いです。

コントローラートラッキングの設定①  Packagesフォルダにある、Meta XR Core SDKのPrefabsフォルダにある。 OVRControllerPrefabをHierarchy(Scene)上のLeftControllerAnchor(RightControllerAnchor) の下に、ドラッグアンドドロップします。

コントローラートラッキングの設定②  LeftControllerAnchor(RightControllerAnchor)の下のOVRControllerPrefabを選択し、 InspectorでControllerをLtouch(RTouch)に設定します。これで基本のコントローラーのトラッキン グができます。

ハンドトラッキングの設定①  Packagesフォルダにある、Meta XR Core SDKのPrefabsフォルダにある。OVRHandPrefabを Hierarchy(Scene)上のLeftHandAnchor(RightHandAnchor)の下に、ドラッグアンドドロップし ます。

ハンドトラッキングの設定②  RightHandAnchorの下のOVRHandPrefabを選択し、InspectorでHand / Skelton / Mesh Type を右手に設定します。これで基本の手のトラッキングができます。

動作をEDITORで確認  Meta QuestをUSBケーブルで接続(AirLinkでも可)し、Quest Link起動。  Unity Editorで実行します。コントローラーをもって認識するか？ するか確認します。 コントローラーを置いて手を認識

INTERACTION SDKを使う

INTERACTION SDK のインストール  Meta XR Interaction SDK OVR Integrationをインストールします。

OVR INTERACTIONを追加  前セクションの「手とコントローラーをプレハブから組み立てる」の状態から作業を継続します。  Packages/Meta XR Interaction SDK OVR Integration/Runtime/Prefabより、OVRInteraction 追加します。

OVR INTERACTIONの設定  OVRInteractionに、CameraRigの参照とCameraRigRefを設定する。

ハンドとコントローラーの追加  OVRInteractionの下に、PackagesよりOVRControllers、OVRHandsプレハブを追加します。

ハンドの表示をINTERACTION SDK側にまかせる  Interaction側で手の表示を行う場合は、両方の手のOVRHnadPrefabの手の表示部分を削除する。 両手に 実施

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  コントローラーを使うと、コントローラーが表示されます。コントローラーを置いて、手をかざすとハ ンドトラッキングに切り替わり手が表示されます。

補足：手の表示をＣＯＲＥ SDK側にまかせる場合  Core SDKとInteraction SDK側両方で手が表示されているため、Interaction SDKの表示を消す場 合はHandVisualRight/Leftを非Activeにします。この場合「ハンドの表示をInteraction SDK側に まかせる」の作業は不要です。

ハンドとコントローラにつかむ設定を入れる

HANDS / CONTROLLER / CONTROLLER HANDS  3種のプレハブと、つかむ側・つかまれる側のコンポーネントを組み合わせつかみを実装します。 プレハブ名 OVRHands OVRControllers OVRControllerHands つかむ側のコンポーネント つかまれれる側 のコンポーネント HandGrabInteractor HandGrabInteractable HandPokeInteractor PokeInteractable HandRayInteractor RayInteractable DistanceHandGrabInteractor HandGrabInteractable ControlleGrabInteractor GrabInteractable ControllerPokeInteractor PokeInteractable ControllerRayInteractor RayInteractable ControllerDistanceGrabInteractor GrabInteractable HandGrabInteractor HandGrabInteractable HandPokeInteractor PokeInteractable HandRayInteractor RayInteractable DistanceHandGrabInteractor HandGrabInteractable 入力 （手・コントローラー） 見え方

コントローラでつかむ①  ControllerGrabInteractorを検索し、ControllerInteractorsの配下に追加する。

コントローラでつかむ②  両方の手のCotrollerInteractorsに、追加したInteractorの参照を設定する。 両手に 実施

ハンドでつかむ①  HandGrabInteractorを検索し、HandInteractorsの配下に追加する。

ハンドでつかむ②  両方の手のHandInteractorsLeft(Right)に、追加したInteractorの参照を設定する。 両手に 実施

つかまれる側の設定

CUBEをつかめるように①  Cubeを作成し、RigidBodyを追加します。つかみやすい位置においてください。CubeにはCollider がついていますが、独自のメッシュなどの場合は自分でColliderを追加します。  落ちないようにUse Gravity=True、Is Kinematic=Trueに設定します。

CUBEをつかめるように②  Cubeに、InspectorのAdd Componentから、One Grab Free TransfomerとGrabbableコンポー ネントを追加します。  GrabbableコンポーネントにCubeにさきほどつけた、 One Grab Free Transfomerを設定します。

CUBEをコントローラーでつかめるようにする  Cubeに、Grab Interactableコンポーネントを 追加します。  Grab Interactableコンポーネントにつかみ位置 とRigidbodyが自動で設定されます。(設定され ていない場合は手動で設定します。)

CUBEをハンドでつかめるようにする  Cubeに、Hand Grab Interactableコンポーネ ントを追加します。  Hand Grab Interactableコンポーネントにつか み位置とRigidbodyが自動で設定されます。(設 定されていない場合は手動で設定します。)

 ハンドでもコントローラでも、コントローラーハンド(コントローラー使用で表示は手)でもつかめるよ うにするならば、Interactableを複数つければ良いです。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  手もしくはコントローラーでCubeがつかめるようになっています。

その他のコンポーネント Grabbable 挙動 Grabbable Transformerと組み合わせてものをつかめるようになります。 Physics Grabbable Grabbableコンポーネントと併用し、物理挙動をもつものをつかめるようになり ます。Rigid Bodyは、Use Gravity=True Is Kinematic=Falseで使います。 Transformer 挙動 One Grab Free Transformer 片手持ち One Grab Translate Transformer XYZの相対移動範囲を限定でき、平面上を動かしたりする場合に利用。 One Grab Physics Joint Transformer Configurable Jointを使用してターゲットを制御できる。 One Grab Rotate Transformer 回転軸を固定、回転のPivotと回転範囲を指定できる。 Two Grab Free Transformer 両手持ち Two Grab Plane Transformer Yの移動範囲を限定でき、平面上を動かしたりする場合に利用。 Two Grab Rotate Transformer 回転軸を固定、回転のPivotと回転範囲を指定できる。

PHYSICS GRABBABLEの例  右手から左手に渡せるようになっ たり、落下物を空中でつかむこと ができます。キャッチボールでき るということです。

ONE GRAB TRANSLATE TRANSFORMERの例  移動可能範囲を設定する場合は、 Constrainにチェックをいれる。 XとZを-30cm～30cmしか移動 できないようにし、Yの移動制限 はなしの場合。

TWO GRAB FREE TRANSFORMERの例  両手で握って回転や拡大縮 小させる場合の例です。 拡大縮小に制限を設ける場 合は、 Constrainに値を設 定。

TIPS：握られているかどうかを判断  自分が握られているかどうか、GrabInteractableのStateを参照できる。

TIPS：手のコライダー  手の指１本１本にコライダーを自動で付ける。Is Triggerがfalseのコライダーとなるので注意。

TIPS：ピンクのマテリアル  Built-inシェーダーのマテリアルは、URPでは正常に表示されないためURP用に変換してください。  Meta XR SDKのマテリアルはPackage配下に格納されるため、Package配下のマテリアルを検索し てAssets側にコピーします。コピーしたマテリアルを選択してメニュー(Edit -> Rendering -> Convert …)から変換し、マテリアルをURP用のシェーダーに変換したマテリアルに置き換えます。

HAND POSEの作り方 リアルにつかんでいるように見せる

握った際に事前にきめたポーズで握る  何かの取っ手の形状に即した形でにぎらせたいなど、にぎり状態での手の形をポーズとして設定するこ とが可能です。OVRHands(手のトラッキング)を使う場合にポーズが有効となります。

POSE RECORDER  手のポーズを作成するには、Hand Grub Pose Recorderか、Hand Grab Pose Live Recorderを 使う2通りの方法があります。

ポーズを作成する前準備  mugMeshを検索し、シーン上に配置し、握れるようにGrabbableの設定を追加していきます。

左手のポーズ作成  Hand Grub Pose Recorderをメニューから開きます。  Handと握られる側のRigidBodyを設定します。

ポーズをとって記録します  UnityをPlayし、 手で作りたいポーズを演じます。  狙いのポーズがとれたら、Hand Grub Pose RecorderのRecordボタンを押下します。  全部のポーズが記録できたら、Save to Collectionボタンを押下します。

コレクションを読み込む  UnityのPlayを停止。  Hand Grub Pose RecorderのLoad From Collectionボタンを押下します。

手のポーズ設定  コップの取っ手の場合だと、親指と人差し指だけでつかめるように、親指と人差し指を固定し他の指は 自由に設定する。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  つかみ位置に応じて、手の設定したポーズが適用されることを確認します。

反対のハンドのポーズの作り方

左右の手の握りポーズを変える①  HandGrabInteractableを新規につくりながら、反対の手の作り方を説明します。 Hand Grub Pose Recorderで記録したものがあれば、それをもとに反対の手を作ることも可能です。  空のGameObjectをLeftGrabInteractableという名前で作成し、HandGrabInteractableコンポー ネントを追加します。

左右の手の握りポーズを変える②  HandGrabInteractableのAdd HandGrabPoseボタンを押下し、HandGrabPoseを追加します。

左右の手の握りポーズを変える③  Create Mirrored HangGrabInteractableボタンを押下。  ミラーされた右手用のGameObjectの名前を変更する。

左右の手の握りポーズを変える④  手のポーズとにぎり位置を調整する。ゴーストを操作して手のポーズも手動で変更できる。

左右の手の握りポーズを変える⑤  親側のコンポーネントは、４つだけで良い。

遠くの物(GAMEOBJECT)を選択する

コントローラーのRAYを使う①  Meta SDKはPackages配下のためAllからControllerRayInteractorを検索し、ControllerInteractors の配下に追加します。

コントローラーのRAYを使う②  両方の手のCotrollerInteractorsに、追加したInteractorの参照を設定します。 両手に 実施

コントローラーのRAYを使う③  ControlerRayInteractor配下のTriggerSelectorで、どのボタンとRayを関連づけるかの設定が可能で す。

コントローラーのRAYを使う③  ControlerRayInteractor配下のVisualsでRayの見た目や長さの変更ができます。

ハンドのRAYを使う①  Meta SDKはPackages配下のためAllからHandRayInteractorを検索し、HandInteractorsの配下 に追加します。

ハンドのRAYを使う②  両方の手のHandInteractorsLeft(Right)に、追加したInteractorの参照を設定します。 両手に 実施

ハンドのRAYを使う③  HandRayInteractor配下のVisualsでRayの見た目の変更ができます。

選択対象のオブジェクトの準備①  Cubeを新たに作成し赤色に変更します。  RayInteractableとInteractableUnityEventWrapper、ColliderSurfaceコンポーネントを追加しま す。

選択対象のオブジェクトの準備②  InteractableUnityEventWrapperに、追加したCubeの参照を設定します。  Collider Surfaceに、追加したCubeの参照を設定します。

選択対象のオブジェクトの準備③  RayInteractableに、追加したSurfaceの参照を設定します。

選択対象のオブジェクトの準備④  InteractableUnityEventWrapperに、 ホバー、アンホバー、セレクトイベント 発生時の処理を追加します。  Objectの参照にCubeを入れて、メッ シュレンダラーのマテリアルで、それぞ れ青、赤(もとの色)、緑をセットします。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  Rayの先にある遠くのものに対して選択を行うことができます。

POKEでボタン操作 指でつついて操作する

コントローラーのPOKEを使う①  Meta SDKはPackages配下のためAllからControllerPokeInteractorを検索し、ControllerInteractors の配下に追加します。

コントローラーのPOKEを使う②  両方の手のCotrollerInteractorsに、追加したInteractorの参照を設定します。 両手に 実施

ハンドのPOKEを使う①  Meta SDKはPackages配下のためAllからHandPokeInteractorを検索し、HandInteractorsの配下 に追加します。

ハンドのPOKEを使う②  両方の手のHandInteractorsLeft(Right)に、追加したInteractorの参照を設定します。 両手に 実施

選択対象のオブジェクトの準備①  空のGameObjectを作成しButtonという名前に変更します。  PokeInteractableとInteractableDebugVisualコンポーネントを追加します。

補足：距離の関係  Poke Interactor(手)とPoke Interactable(操作対象)の距離に応じた、操作対象の状態 (Normal/Hover/Select/Cancel)は下記のようになっています。 Normal Hover Select Cancel Poke Enter Hover Normal Interactor (手・コントローラー) Cancel Select Normal Hover Exit Hover Normal Slect状態から多少突き抜けても Selct状態を維持する距離 一度、Hoverになると、多少はみ出ても Hover扱いにする。 Poke Interactable(操作対象)

選択対象のオブジェクトの準備②  空のGameObjectをButtonの下に作成 し名前をSurfaceに変更します。  PlaneSurface/ClippedPlaneSurface/ BoundsClipperコンポーネントを追加し ます。  Transformで向きを下向きに変更 (RotationのXを90度)します。 判定面に裏表があるので注意が必要です。  Bounds Clipperのサイズと位置をボタ ンにあわせて調整します。

選択対象のオブジェクトの準備③  ClippedPlaneSurfaceのPlane SerfaceとClippersのコンポーネントの参照をセットします。

選択対象のオブジェクトの準備④  空のGameObjectをButtonの下に作成し名前をVisualに変更します。  VisualにPokeInteractableVisualコンポーネントを追加し、InteractableとSurfaceの参照を設定。

選択対象のオブジェクトの準備⑤  Visualの配下にCubeオブジェクトを追加します。Cubeの色を赤に変更します。 下記のようにボタンっぽい装飾を加えても良いですが、装飾部分はVisualより上の階層に配置してくだ さい。

選択対象のオブジェクトの準備⑥  VisualとCubeのPositionとScaleを下記のように設定します。

選択対象のオブジェクトの準備⑦  ButtonオブジェクトのPokeInteractableコンポーネントにClipped Plane Surfaceの参照を設定、 Interactable Debug VisualコンポーネントにMesh Rendererの参照を設定します。

選択対象のオブジェクトの準備⑧  ButtonオブジェクトのInteractableDebugVisualコンポーネントのInteractableViewとRendererに 参照を設定します。

選択対象のオブジェクトの準備⑨  上から押すと、触れると色が青に変わり。押し込むと緑に変わります。  さらに押し込むと、指がボタンにめり込みます。

ボタンに指がめり込まないようにする①  Meta SDKはPackages配下のためAllからLeftHandSyntheticとRightHandSyntheticを検索し、そ れぞれの手の下に追加します。

ボタンに指がめり込まないようにする②  LeftHandSyntheticのI Modify Data From Source MonoにLeftHandの参照を設定します。 両手に 実施

ボタンに指がめり込まないようにする③  最初に「手の表示をInteraction SDK側にまかせる」の説明を参照し、Interaction SDK側で表示し ている状態にしてください。  もとからあったVisualを非アクティブに変更します。

ボタンに指がめり込まないようにする④  PokeInteracterのHandPokeLimiterをアクティブに変更します。

ボタンに指がめり込まないようにする⑤  HandPokeLimiterに、LeftHandSyntheticの参照を設定します。 両手に 実施

TIPS：手の見た目の変更  Synthetic配下のLeftHandVisualは、Hand Debug Visualがコンポーネントとして使われており見 た目がデバッグ用となっているため、さきほど非Activeに変えたOVRLeftHandVisualをコピーして 利用すると良いです。  コピーした際には、Handの参照をSynthetic側に変更します。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  ボタンを押し込んでも、手がボタンの下に行かないように動作します。

DIRECT TOUCH UIの作成

DIRECT TOUCH UIとは  UIを直接手やコントローラーで操作できるようにすることです。 ボタンを触って選択したり、スワイプの動きでスクロールを行うことが可能です。 Poke可能な手(コントローラー)の設定がされている状態が前提となりますので、最初に「Pokeでボタ ン操作」と同様に手やコントローラーのPokeInteractorの設定を済ませておいてください。

全体構造の作成  空のGameObjectを作成しPokeable Canvasという名前に変更します。  Pokeable Canvasの下に、空のGameObjectを作成しSurfaceという名前に変更します。  Pokeable Canvasの下に、Canvas、Panel、Buttonを作成します。

POKEABLE CANVASの作成  Pokeable Canvasを、手でタッチしやすい位置にTransformを調整します。(Canvasのサイズ調整 をしてからまた、戻って調整を行います。)  Pokeable Canvasに、Poke Interactable、Pointable Canvasコンポーネントを追加します。

CANVAS(UI要素)の作成  CanvasにPlane Surfaceコンポーネント(3D空間における表面を表し、インタラクターの衝突面とな る)を追加します。CanvasのレイヤーをDefaultを選択、配下のUI要素もすべてDefaultに変更します。

SURFACEの作成  Surfaceに、Clipped Plane SurfaceとBounds Clipperコンポーネントを追加します。

POKEABLE CANVASの設定  Pokeable CanvasのInspectorを開き、参照の設定を行います。

SURFACEの設定  SurafaceのInspectorを開き、参照の設定を行います。

サイズの調整①  Canvasのサイズを下記(30cm×20cm)のように設定します。Render ModeをWorld Spaceに変更 します。

サイズの調整②  SurfaceのInspectorからBounds Clipperのサイズを下記(30cm×20cm)のように設定します。

POINTABLECANVASMODULE  空のGameObjectを作成しPointableCanvasModuleという名前に変更します。  Event SystemとPointable Canvas Modulをコンポーネントを追加します。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  ボタンに色を設定しておくと動作がわかりやすいです、手を近づけるとHighlighted Colorに変わり、 押すとPressed Colorにかわります。

CURVED UIの作成 UIを湾曲して配置

CURVED UIとは  3D空間上、平面で左右に広く配置すると端に行くほどゆがんで見えにくくなり、また操作上も手でさ われる範囲というものを考える必要があります。円弧にあわせてUIを配置することで、見やすく操作し やすいUIを作ることができます。Curved UIは円弧上にUIを表示するための仕組みです。  UIを画像に変換、Plane(Mesh)に変換した画像をはりつけ、 Plane(Mesh)をシリンダー形状に変形す ることで実現しています。 3次 70cｍ 見るだけのUI 2次 50cｍ タッチするUI 1次 36cｍ つかんで操作 ハンドメニュー

もととなるUIの作成①  空のGameObjectを作成し、名前をUI Cylinderにします。  コンポーネントにCylinderとCylinder Surfaceを追加します。Radiusが作成する円弧の半径になり、 シリンダー形状のFacingがどちらの向きに表示するかの設定です。今回は内向きになりますのでInに 設定します。(Height=0のとき無限扱い)

もととなるUIの作成②  UI要素を作成します。図のようにCanvas、Panel、Buttonの階層でUIを作成します。  それぞれのサイズと位置は、下記を参考にしてください。

もととなるUIの作成③  LayerからAdd LayerでCurved UIレイヤーを作成します。  Canvasを選択し、LayerをCurved UIに変更します。子要素も全てCurved UIに変更します。

カメラの設定  UIを画像に変換して、円弧状に変形させて見せる仕組みのため、もとのUIは表示しないように OVR CameraRigの3つ(Center/Left/Right)のCameraでCulling Maskのチェックを外しCurved UIを表 示しないように設定します。

UIを画像に変換する設定  Canvasの配置をWorld Spaceに変更し、Event CameraをOVR CameraRigのCenterEyeAnchor を設定します。Gammaにチェックをいれます。  CanvasにCanvas Render Textureを追加します。Auto-Fixが表示されたらボタンを押下して、修 正を行ってください。  Pixels Per Unitを今回は1000に修正します。UIを画像かする際の解像度に関わる部分です。  Rendering LayersにCurved UIレイヤーを指定します。

画像を張り付ける先のMESHの作成①  UI Cylinder配下に空のGameObjectを作成し、名前をMeshにします。  Mesh配下にPlaneを追加し、UIと同じ縦横比になるようScaleを設定します。円筒に張り付けるので すが、向きはとくに関係ないようです。

画像を張り付ける先のMESHの作成②  MeshにCanva Mesh Rendererと、Canva Cylinderコンポーネントを追加します。  参照を下記のように設定します。

TIPS：見やすい表示位置  表示位置は少しさげる。円弧は頭より少し後ろを原点にしてカーブをゆるくした方が自然にみえて良い そうです。 https://youtu.be/ES9jArHRFHQ?si=T8mvOAjWhx8gz_K2

• https://youtu.be/ES9jArHRFHQ?si=T8mvOAjWhx8gz_K2

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  実行するとUIが、UI Cylinderを原点にシリンダー上に変形して張り付けられていることが確認できま す。

CURVED UIにRAY機能追加

CURVED UIのRAY機能追加①  Curved PanelのInspector 追加 追加 追加

CONTROLLERHANDSの使い方

CONTROLLERHANDSの設定  新規にシーンを作成し、「Interaction sdkを使う」の章まで完了した状態を作成します。  OVRInteractionの下に、PackagesよりOVRControllerHandsプレハブを追加します。  OVRControllersを非Activeに設定します。

コントローラーハンドにINTERACTORを追加する①  HandGrabInteractor/ HandGrabInteractor/ HandGrabInteractorを検索し、左右の手の ContollerHandInteractorsの配下に追加する。

コントローラーハンドにINTERACTORを追加する②  両方の手のHandInteractorsLeft(Right)に、追加したInteractorの参照を設定する。 両手に 実施

FROM OVR CONTROLLER HAND DATA SOURCEの設定  OVRControllerHandDataSourceのCamera Rig RefとTracking To World Transfomerに OVRInteractionの参照をセットする。 両手に 実施

実行して確認する  Ray、Poke、Grabを試せるオブジェクトを配置します。  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  コントローラーを使って操作します。表示は手の形になっており、 Ray、Poke、Grabで操作ができ るようになっています。

手のポーズを認識させる SHAPE RECOGNIZERの使い方

SHAPE RECOGNIZERとは  手のShape(ポーズ)をもとに、例えばジャンケンのグー・チョキ・パーの手の形を検出して何かアク ションをしたいような場合に使います。

SHAPE(手のポーズ) の検出  指のポーズ (参考: Pose Detection | Oculus Developers) Shape State Curl (丸め) Open 指を完全に伸ばした状態 Neutral マグカップの周りを包むような、指を少し内側に曲げた状態 Closed 指先がほとんど手の平に付くほどに指をしっかり曲げた状態 Open 指の付け根の骨を完全に伸ばして手の平に平行になっている状 態 Neutral やや曲がっている Closed ナックル関節が目いっぱい曲がっている(右図) Open 2本の指が離れている状態(図の人差し指) Closed 2本の指をしっかりくっ付けた状態(図の親指、中指、薬指) None 現在使われていない Touching 指先関節間の距離が1.5cm以内(図の人差し指) Near 指先関節間の距離が1.5cm～15cm None 指先関節間の距離が15cmを超える Flexion (屈曲) 親指の信頼 性低い Abduction (外転) 小指非対応 Opposition (対立) Curl Flexion Abduction Opposition

サンプルのシェイプ  サンプルソースには、サムズアップ、サムズダウン、ジャンケン(グー・チョキ・パーなど) のいくつか のシェイプが用意されています。サンプルのシェイプがそのまま使える場合は、こちらを流用するとよ いと思います。

新規にSHAPE(手のポーズ) の作成  Projectウィンドウで、HandPosesフォルダを作成します。  作成したフォルダで右クックしShapeファイルをBunnyという名前で作成します。

SHAPE(手のポーズ) の作成  前述、指のポーズ(Curl/ Flexion/ Abduction/ Opposition)を組み合わせて、Shapeファイルを作成 します。 Bunny(チョキ)に合わせて設定したShapeを作成します。 親指曲げる 人差し指曲げない 中指曲げない 薬指曲げる 小指曲げる

作成したSHAPEをつかって判定を行う  新規にシーンを作成し、「Interaction sdkを使う」の章まで完了した状態を作成します。  空のGameObjectを作成し、Bunnyという名前にします。

手のSHAPE状態を提供するコンポーネントの設定①  OVRHandsのHandFeatureLeft/Rightに、Finger Feature State Providerを追加します。

手のSHAPE状態を提供するコンポーネントの設定②  追加したFinger Feature State Providerに、指ごとの Thresholdsを設定します。Elementを追加し指5本分の枠を 追加します。  指を親指、人差し指、中指、薬指、小指を選択し、それぞれ にデフォルトの状態判断の閾値の設定を行います。 Meta XR Interaction SDKのRuntimeにあるDefault Settingsから、デフォルトを設定します。親指と他の指の設 定が異なるので注意してください。

手のSHAPEをACTIVE STATEとして検出する①  作成したBunnyに、InspectorのAdd Componentから、Hand RefとShape Recognizer Activate State、Active State Selectorコンポーネントを追加します。

手のSHAPEをACTIVE STATEとして検出する②  OVRInteractionのOVRHandsへの参照を、HandRefに設定します。

手のSHAPEをACTIVE STATEとして検出する③  HandRefへの参照を、Shape Recognizer Active StateのHandに設定します。  Shape Recognizerへの参照を、Active State Selectorに設定します。

手のSHAPEをACTIVE STATEとして検出する④  Hand Feature State Providerへの参照を、Shape Recognizer Active Stateに設定します。

手のSHAPEをACTIVE STATEとして検出する⑤  作成していたShape、BunnyをShape RecognaizerのShapesに設定します。

SHAPEの認識を確認する  シーンにCubeを作成します。CubeにSelector Debug Visualコンポーネントを追加します。  Selectorへの参照はBunnyから設定、Bunnyを認識した際にCubeの色を変えたいためCubeの RendererをRendererに設定します。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  実行し左手でチョキのShapeのポーズをとって、Cubeの色が変わるか確認します。

手の向きを検出する  手のShapeをActive Stateとして検出する以外に、手の向きをActive Stateとして検出する Transform Recognizerがあります。手のShapeと組み合わせて使うこともできます。 State Wrist Up リストを上に向ける Wrist Down リストを下に向ける Palm Up 手のひらを上向け Palm Down 手のひらを下向き Palm Towards Face 手のひらを顔に向ける Palm Away From Face 手のひらを顔の反対にむける Fingers Up 指を上にむける Fingers Down 指を下に向ける Pinch Clear 上記状態がクリアされた Wrist Up Wrist Down Palm Up Palm Down Fingers Up Fingers Down

手の向きを提供するコンポーネントの設定  手のShapeに加え、手の向きを条件として加えます。チョキのShapeかつ手が顔の方に向いたときに Activeとなるようにしてみます。  OVRHandsのHandFeatureLeft/Rightに、Transform Feature State Providerを追加します。

手の向きを検出を追加する①  BunnyにTransform Recognizer Active Stateコンポーネントを追加します。

手の向きを検出を追加する②  Hand Feature State Providerへの参照を、Transform Recognizer Active Stateに設定します。  HandRefへの参照を、 Transform Recognizer Active StateのHandに設定します。

手の向きを検出を追加する③  Transform Recognizer Active Stateを、手のひらが顔を方を向いたときに設定します。  デフォルトの状態判断の閾値の設定を行います。Meta XR Interaction SDKのRuntimeにある Default Settingsから、デフォルトを設定します。

手の向きを検出を追加する④  Bunnyに複数のActive Stateをまとめる、Active State Groupコンポーネントを追加します。  Active State Groupに、Shape Recognizerと Transform RecognizerのActive Stateを追加しま す。Logic Operatorを2つのStateが同時に起こった 場合にしたいため、ANDに設定します。  Active State Selectorを、追加したState Groupに 書き換えます。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  実行し左手でチョキのポーズをとってから、顔に手のひらを向けるとCubeの色が変わるか確認します。

TIPS：その他のACTIVE STATE  Shape Recognizerは静的なShapeを検出するためのものでしたが、動きを認識するものもあります。 JointDeltaProviderと組み合わせて、JointVelocityActiveStateでXYZ軸の動きの速度を、 JointRotationActiveStateで回転速度を認識するものが使えます。

TIPS：ステートの連鎖を検出  Sequence、Sequence Active Stateコンポーネントを使うことで、Acrive Stateの連鎖を検出する ことができます。下記はチョキのあとに手を顔の方に向けるという流れを検出しています。 Step.1 チョキ Step.2 手のひらを顔に向ける 連鎖が成立したら2秒間状態をアク ティブにする

パススルーをオリジナルのシーンに組み込む 現実の映像を表示し仮想と融合するMRの機能

パススルーの設定  OVRCameraRigのOVRManagerコンポーネントで、Passthrough SupportでSupportedを選択 し、Enable Passthroughにチェックをつけます。

OCULUS PC側の設定  パススルーをビルドせずUnity Editor上で確認する場合、Oculusアプリの設定を変更する必要があり ます。

OVR PASSTHROUGH LAYERの追加  OVRCameraRigにOVR Passthrough Layerコンポーネントを追加し、PlacementをUnderlayに設 定します。

CAMERAの設定  OVRCameraRig配下にあるCenterEyeAnchorのCameraコンポーネントのClear FlagsをSolid Colorに設定し、Backgroundの色を透明に設定にします。

参考：PLACEMENTについて  OVR Passthrough LayerのPlacementは、表示順が下記の通りとなります。Overlayの場合は、CG が背面に回ってしまいますし、Underlayの時に背景があるとパススルーが表示されません。 パススルー (現実) CG 背景 Overlay CG 背景 パススルー (現実) Underlay

オーバーレイタイプの変更するときはこちら  Placementの切り替えは、 overlayTypeを設定することで変更可能。 [SerializeField] private OVRPassthroughLayer passThroughLayer; passThroughLayer.overlayType = OVROverlay.OverlayType.None; passThroughLayer.overlayType = OVROverlay.OverlayType.Underlay; passThroughLayer.overlayType = OVROverlay.OverlayType.Overlay;

ビルドして実行  QuestをUSBケーブルで接続し、Build And Runで実機で動作確認します。  Unity Editor上で実行する場合は、オキュラスアプリのβ機能をオンにします。Quest LinkでPCに接 続しPlayを押下します。

パススルーのサンプルプログラム  Oculus Integrationの中にサンプルプログラムが含まれています。面白い使い方したものもあり参考 になります。 Lighting : 懐中電灯のサンプル

パススルーを動的に切り替える VRとMRを切り替える

動的にパススルーオン・オフの切り替え Skybox / Fog / Postprocessingなどを利用しているProjectで、パススルーのオン・オフを切り替えま す。  isInsightPassthroughEnabledを切り替えるだけ  Fogも切っておく visible = !visible; [SerializeField] private Material sky; if (visible) // パススルーの切り替え { OVRManager.instance.isInsightPassthroughEnabled = true; RenderSettings.fog = falses; } else { OVRManager.instance.isInsightPassthroughEnabled = false; RenderSettings.fog = true; }

ISINSIGHT PASSTHROUGH ENABLEの問題  isInsightPassthroughEnabledの切り替えで画面が固まる現象発生しました。その場合は textureOpacity を透明にして回避します。 visible = !visible; if (visible) { passThroughLayer.textureOpacity = 0; } else { passThroughLayer.textureOpacity = 1; }

SKYBOX利用時のパススルーの問題  Placement の表示順によりSkyboxが透けません。Skyboxのマテリアルをnullに置き換えることで回 避します。 visible = !visible; if (visible) { passThroughLayer.textureOpacity = 0; RenderSettings.skybox = sky; } else { passThroughLayer.textureOpacity = 1; RenderSettings.skybox = null; }  Skybox利用時も、パススルー画面でSolidColorの影響を受ける問題がありました。その場合には Solid Colorの設定を黒(0,0,0,0：透明)にしてから、Skyboxの設定を選ぶことで回避します。 Skyboxにしているのに Solid Color設定時の色が影響する

POST PROCESSING利用時のパススルーの問題  Post Processing利用時にパススルーが効かなくなります。  パススルー時には、ポストプロセスを切る設定をすることで回避します。 [SerializeField] private UniversalAdditionalCameraData cameraData; if (visible) { passThroughLayer.textureOpacity = 0; RenderSettings.skybox = sky; cameraData.renderPostProcessing = true; } else { passThroughLayer.textureOpacity = 1; RenderSettings.skybox = null; cameraData.renderPostProcessing = false; }

SCENE MANAGERを使う シーンモデルの利用

シーンの作成  Questで設定したシーンモデル利用して、現実空間の形状に沿ったメッシュを取得するアプリを作成し ます。現実空間の壁に穴をあけたり、床にものを置いたりすることができるようになります。  新しいシーンで試します、Camera RigとBackground PassthroughをHierarchyにドラッグアンド ドロップします。

TIPS：空間地図と移動 https://goo.gl/uFqQtk  Questは動きながら現実空間を撮影します。撮影した画像間で特徴点を対応 づけ、特徴を追跡し空間地図(環境Map)を作成します。地図があることで自 分の移動(＝自己位置)がわかるのです。 特徴点とは、イメージ内に⾒られるパターンや際⽴つ構造 のこと edge corne r flat blob そのため • 特徴点が変わるものは難しい 透明、鏡・ガラスなどの映り込みのある素材 動くもの、照明の変化 • 特徴のない場所(もの) 白い部屋、暗所 • 大きなQuest(カメラ)の移動 前の画像の特徴とマッチングできないくらい撮影映像が変わってし まうような場合

• https://goo.gl/uFqQtk

パーミッションの設定  [BB] Camera RigをHierarchyで選択し。OVR ManagerのScene Supprtを有効にします。

OVR SCENE MANAGERを追加  OVRSceneManagerを検索し、Hierarchyにドラッグアンドドロップします。

空間の表示用プレハブの設定  HierarchyのOVRSceneManagerを選択し、InspectorでPlane/Volume Prefabを設定します。 表示用と非表示用のサンプルとなるプレハブが用意されているので、そちらを使います。  Assets/Oculus/SampleFramework/Usage/SceneManager/Prefabsから下記のように設定を行 います。 空間のメッシュを表示する場合 空間のメッシュを表示しない場合

PLANE / VOLUMEの中身  Volume Prefabの中身は、OVR Scene Anchor/OVR VolumeがついているGame Objectです。  Plane Prafabの中身は、 OVR Scene Anchor/Volume and Plane SwitcherがついているGame Objectです。どちらも1m×1m×1mのサイズでこれが基本形ですね。 Volume Plane

INVISIBLE PLANE / INVISIBLE VOLUMEの中身  プレハブの中身は、OVR Scene AnchorとColliderだけのGame Objectです。 Invisible Volume Invisible Plane

ビルドして実行  QuestをUSBケーブルで接続し、Build And Runで実機で動作確認します。 下記は、現実世界の壁にメッシュが重なって表示されている様子です。ルーム設定で定義したセマン ティックタイプ(壁やテーブルなど)ごとにシーンアンカー(PlaneまたはVolume)が設置されています。

空間表示用のメッシュのオーバーライド  Prefab Overridesで指定すれば、Questで設定したセマンティックタイプごとに表示するメッシュの 見た目を変更することができます。机や、壁、ベッドなどだけ別の見た目に変更することが可能です。

セマンティックタイプを調べる  準備で結果を表示するテキストを表示するキャンバスを用意します。CammeraRigの下の CenterEyeAnchorの下にCanvasとText(TextMeshPro)を配置します。

セマンティックタイプを調べる  空のGame Objectを作成し、名前をCheckSemanticTypeとします。  C# Scriptを作成、CheckSemanticTypeとします。

セマンティックタイプを調べる
 作成したCheckSemanticTypeスクリプトを開きます。
using System.Collections;
using System.Collections.Generic;
using TMPro;
using UnityEngine;

void Update()
{
var position = controllerTransform.position;
var rotation = controllerTransform.rotation;

public class CheckSemanticType : MonoBehaviour
{
[SerializeField]
private Transform controllerTransform;

if (Physics.Raycast(new Ray(position, rotation * Vector3.forward), out raycastHit, 15))
{
GameObject objectHit = raycastHit.transform.gameObject;
OVRSemanticClassification semanticClassification =
objectHit?.GetComponentInParent<OVRSemanticClassification>();

[SerializeField]
private TextMeshProUGUI text = null;

if (semanticClassification != null && semanticClassification.Labels?.Count > 0)
{
text.text = semanticClassification.Labels[0];
} else
{
text.text = "";
}
} else
{
text.text = "";
}

private RaycastHit raycastHit;

}
}

セマンティックタイプを調べる  CheckSemanticTypeに作成したスクリプトを追加します。  Controller Transformに、右手のアンカー、作成したTextを設定します。

ビルドして実行  QuestをUSBケーブルで接続し、Build And Runで実機で動作確認します。  右コントローラーで指し示した先のセマンティックタイプが表示されます。 ※OVRSceneManagerには、Invisible Volume / Invisible Planeを指定してもらうと全体に当たり判定(Colliderが設定さ れている)があるので、差し示しやすいです。

シーンアンカーを全部取得する
 シーンマネージャが正常に読み込まれた場合(SceneModelLoadedSuccessfully)に、

SemanticClassificationを探します。
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
public class GetAllSceneModel : MonoBehaviour
{
[SerializeField]
private OVRSceneManager ovrSceneManager;
private void Awake()
{
ovrSceneManager.SceneModelLoadedSuccessfully += onAnchorsLoaded;
}
private void onAnchorsLoaded()
{
var classifications = FindObjectsByType<OVRSemanticClassification>(FindObjectsSortMode.None);
foreach (var classification in classifications)
{
// sceneAnchorの処理を記述
if (classification.Contains(OVRSceneManager.Classification.Floor))
{…
}
}
}
}

TIPS：スぺーシャルデータをQUEST LINKで使う  Oculusアプリの設定で、Spatial Data over Meta Quest LinkをオンにすることでQuest Linkで空 間データの利用が可能となります。

スペーシャルアンカーによる位置合わせ 現実の位置と仮想空間の位置をひもづける

SPATIAL ANCHORとは  Questは現実空間を認識して、Spatial Map(現実空間の地図)をもっています。その地図上で頭や手が いまどのような姿勢であるかを推定することで、空間内での位置のトラッキングなどを行っています。 地図は複数作ることができ、Quest起動時にマッチングが行われ過去に作成した地図と合致すれば、そ の地図が使われるような仕組みです。 Spatial Anchorとは、その地図上の特定の場所を指し示すマーカーとなるもので、ローカルまたはク ラウド上に保存することで再利用することができます。 Spatial Mapが現実空間をもとに作られてい ることから、現実空間の特定の位置を覚えておける仕組みとも言えます。 これはMRの世界では、重要な役割を果たします。現実の机の上に時計をおいてその場所を覚えておけ ば、アプリを終了させても次回起動時に同じ場所に同じ向きで、時計を配置することができるのです。

アンカーサポートの設定  OVRCamweraRigのOVR Managerコンポーネント、Generalタブの中にあるAnchor Supportに チェックをいれます。

OVRSPATIALANCHORコンポーネント  アンカーの作成・更新・保存・削除などのライフサイクルをカプセル化したOVRSpatialAnchorを使 います。  Game ObjectにOVRSpatialAnchorコンポーネントを追加して利用します。 Game Objectがインスタンス化されたタイミングで、Game ObjectのTransform(位置・向き)に Anchorが非同期で作成されます。

ANCHORを作る  シーン上にCubeを作成し、OVR Spatial Anchorをコンポーネントとして追加します。

ANCHORの作成・失敗の判断
 OVRSpatialAnchorが作成するAnchorのCreatedプロパティを監視し待つというスクリプトを

Anchorという名前で作成します。
 先ほどのCubeに、Anchorスクリプトを追加します。
using System.Collections;
using System.Collections.Generic;
using System.Text;
using UnityEngine;

private IEnumerator Start()
{
// Createdになるまで待つ
while (_spatialAnchor && !_spatialAnchor.Created)
{
yield return null;
}

public class Anchor : MonoBehaviour
{
private OVRSpatialAnchor _spatialAnchor;
private System.Guid _uuid;

if (_spatialAnchor)
{
// 作成に成功したらuuidを保管する
_uuid = _spatialAnchor.Uuid;
Debug.Log("Success : " + _uuid);
else
{
// 作成に失敗したら自殺する
Debug.Log("Failed");
Destroy(gameObject);
}

void Awake()
{
_spatialAnchor = GetComponent<OVRSpatialAnchor>();
}

}
}

}

動作をEDITORで確認  Quest Link(Air Link)で実機とPCを接続し、Unity Editor上でプレイします。実機に接続しない場合 は必ず、アンカーの作成に失敗してしまいます。  実行するとログにSuccessが表示され、アンカーをユニークに特定するUUIDが表示されます。

ANCHORの管理  Anchorのライフサイクルを管理できるように実装を追加していきます。  作る、消す、保存、読み込みができるUIを、Direct Touch UIの説明を参考に作成します。

ANCHORの形状  設置時にAnchorの向きがわかるようなメッシュを用意します。  空のGameObjectを作成し、先ほどのUIとメッシュを子オブジェクトにした構成で配置します。

ANCHORの作成
 AddComponentでOVRSpatialAnchorを追加し、 Createdになるまで待機します。
public async void CreateAnchor()
{
var token = this.GetCancellationTokenOnDestroy();

if (_spatialAnchor)
{
// 作成に成功したらuuidを保管する
_uuid = _spatialAnchor.Uuid;
if (_anchorIcon != null)
{
_message.text = "アンカーが作成できました";
_isCreated = true;
}
}
else
{
if (_anchorIcon != null)
{
_message.text = "アンカーの作成に失敗しました";
_isCreated = false;
}
}

// Anchorの作成
_message.text = " Start creating the anchor....";
// コンポーネントが既にあれば削除
if (_spatialAnchor)
{
Destroy(_spatialAnchor);
}
_spatialAnchor = gameObject.AddComponent<OVRSpatialAnchor>();
// Anchorの作成待ち(※UniTask使用)
await UniTask.WaitUntil(() => (!_spatialAnchor || _spatialAnchor.Created));

}

ANCHORの削除
 作成したアンカーのEraseメソッドで削除を行います。
private void EraseAnchor()
{
// 作られていない時は削除しない
if (!_spatialAnchor) return;
_message.text = "削除中....";
_spatialAnchor.Erase((anchor, success) =>
{
if (success)
{
_message.text = "アンカーの削除に成功しました";
}
else
{
_message.text = "アンカーの削除に失敗しました";
}
_isCreated = false;
});
}

ANCHORの保存
 作成したアンカーのSaveメソッドでローカルストレージに保存を行います。
 読み込み時にアンカーのUUIDが必要になるため、UUIDをPlayerPrefsでメモとして残しておきます。
public async void OnSaveLocalButtonPressed()
{
if (!_spatialAnchor) return;
_message.text = "保存中....";
// アンカーを保存
var saveOptions = new OVRSpatialAnchor.SaveOptions();
saveOptions.Storage = OVRSpace.StorageLocation.Local;
_spatialAnchor.Save(saveOptions, (anchor, success) =>
{
if (success) {
_isSaved = true;
_message.text = "保存に成功しました";
// SaveしたアンカーのUUIDを覚えておく
PlayerPrefs.SetString(_uniqueKey, anchor.Uuid.ToString());
} else {
_isSaved = false;
_message.text = "保存に失敗しました";
return;
}
});
}

ANCHORの読み込み①  メモしておいてUUIDをPlayerPrefsから読み込みます。  取得したUUIDを使い読み込みのオプションを作成、読み込み用のメソッドを呼び出します。 public void OnLoadLocalButtonPressed() { var savedUuid = PlayerPrefs.GetString(_uniqueKey, ""); if (savedUuid == "") { _isSaved = false; _message.text = "保存されているデータが見つかりませんでした"; return; } // Load Optionの作成 var uuids = new Guid[1] { new Guid(savedUuid) }; var loadOptions = new OVRSpatialAnchor.LoadOptions { Timeout = 0, StorageLocation = OVRSpace.StorageLocation.Local, Uuids = uuids }; LoadAnchors(loadOptions); }

ANCHORの読み込み②
 LoadUnboundAnchorsで保存した、アンカーの読み込みを行います。
private void LoadAnchors(OVRSpatialAnchor.LoadOptions options)
{
// SaeしたアンカーをUUIDを指定して読み込み
OVRSpatialAnchor.LoadUnboundAnchors(options, anchors =>
{
if (anchors.Length != 1)
{
// アンカーが読めなかった
_message.text = "読み込みに失敗しました";
return;
}
if (anchors[0].Localized)
{
// すでにローカライズが終了していた場合
OnLocalized(anchors[0], true);
}
else if (!anchors[0].Localizing)
{
// 空間マッピングが不十分などの理由でローカライズに失敗している場合、再度ローカライズ
anchors[0].Localize(OnLocalized);
}
});
}

ANCHORの読み込み③
 アンバインド(未割当)のアンカーから、Poseを取得し位置と向きを反映させます。
 アンカーのコンポーネントにアンバインドのアンカーをバインドします。
private void OnLocalized(OVRSpatialAnchor.UnboundAnchor unboundAnchor, bool success)
{
if (!success)
{
// アンカーが読めなかった
_message.text = "読み込みに失敗しました";
return;
}
// アンカーのGame Objectを読み取った位置に移動し、アンバインドのアンカーをコンポーネントにバインドする
var pose = unboundAnchor.Pose;
transform.SetPositionAndRotation(pose.position, pose.rotation);
if (!_spatialAnchor)
{
_spatialAnchor = gameObject.AddComponent<OVRSpatialAnchor>();
}
unboundAnchor.BindTo(_spatialAnchor);
_message.text = "読み込みに成功しました";
_isCreated = true;
}

※unboundAnchorか
らPoseの取得がうま
くいってないので、解
決後に修正します。

動作をEDITORで確認  AnchorのGame Objectをつかんで移動できるようにします。移動した位置でCreateするとその場所 にAnchorが作成されます。  Saveボタンを押して、移動した位置に作成されたアンカーをローカルに保存します。  アプリを終了し、再度起動します。  Loadボタンを押すと、先ほどの位置に復元されたら成功です。

DEPTH APIを試す 空間の奥行情報の利用したオクルージョン

空間の奥行情報の利用  現実の空間での奥行情報を利用して、CGのオブジェクトの手前に現実のものがあった場合に、現実の ものの向こう側に隠す処理(オクルージョン)を行います。より現実と融合したオブジェクトの表示が可 能となり、MRアプリでの仮想と現実の溶け込み具合を向上させることが可能です。  深度(TOF)カメラのあるQuest3でのみ利用可能です。  パススールを使う場合GPU パフォーマンスが 17% 低く、CPU パフォーマンスが 14% 低くなりま す。Depth APIを利用するとさらにパフォーマンスが悪くなるので注意が必要です。 https://developer.oculus.com/blog/start-developing-Meta-Quest-3-tips-performance-mixed-reality/

• https://developer.oculus.com/blog/start-developing-Meta-Quest-3-tips-performance-mixed-reality/

ソフトとハードオクルージョン  エッジが目立つハードオクルージョンと、GPUパワーをより使うソフトウェアオクルージョンがあり ます。 https://github.com/oculus-samples/Unity-DepthAPI

• https://github.com/oculus-samples/Unity-DepthAPI

実験的機能の有効化  QuestをUSBケーブルで接続します。  コマンドプロンプトを起動し、下記コマンドを実行します。 adb shell setprop debug.oculus.experimentalEnabled

GITからソースを取得  コマンドプロンプトを開き下記にgitコマンドでサンプルソースを取得します。 git lfs install git clone https://github.com/oculus-samples/Unity-DepthAPI

UNITYプロジェクトを開く  URP版のプロジェクトを開きます。Gitで取得したソースにある下記のパスをUnityで開きます。 ¥DepthAPI¥Unity-DepthAPI¥DepthAPI-URP  OcclusionTogglerシーンを開きます。

プラットフォームの切替  Androidプラットフォームを選択肢、Switch Platformボタンを押下します。

ビルドして実行  QuestをUSBケーブルで接続し、Build And Runで実機で動作確認します。 実験的機能が利用可能に設定されていない場合、確認のダイアログが表示されますのでYes, enableを 選択します。

オクルージョンモードの切替え  Aボタンを押下で、オクルージョン無し、ハードウェアオクルージョン、ソフトウェアオクルージョン を切り替えできます。 左コントローラーのStartボタンを押下するともう一つのシーンに切り替わります。 オクルージョンなし ハードウェアオクルージョン ソフトウェアオクルージョン

DEPTH APIをオリジナルのシーンに組み込む

オクルージョンの組み込み方  新しいシーンで試します、Camera RigとBackground PassthroughをHierarchyにドラッグアンド ドロップします。  不要になったMain Cameraを削除します。

DEPTH OCCLUSIONの追加  Packages/Depth API/Runtime/Core/Prefabsにある、EnvironmentDepthOcclusionをシーン に配置します。

OCCLUSION TYPEの設定  HierarchyのEnvironmentDepthOcclusionを選択し、InspectorでOcclusion Typeを指定します。

オクルージョン対象のオブジェクトの設定  シーン上に、手でさえぎれる位置にCubeを追加し配置します。  新規にマテリアルを作成します。作成したマテリアルのShaderをMeta/Depth/URP/Occlusion Lit を設定します。作成したCubeのマテリアルにこのマテリアルを設定します。

作成したシーンをビルドに組み込む  Build Settingsを開き、ビルドに含めるシーンに作成したシーンを組み込みます。他のシーンにチェッ クが入っている場合、そのチェックを外します。

ビルドして実行  QuestをUSBケーブルで接続し、Build And Runで実機で動作確認します。現状、DepthはQuest3 かつ実機でしか取得できません。

OCCLUSION用のSHADERの補足  OcclusionのShaderは、CGの手前に物があった場合に透けるというShaderです。Occlusionの Shaderの後ろに、非OcclusionのShaderを配置すると、現実空間でCGの手前に物があった場合、そ こが透明になります。下記の場合はその部分に青色が表示されます。 Occlusion NonOculusion Shader Shader Underlay パススルー

ハンドとコントローラーのマルチモーダル(同時利用)

マルチモーダルとは  手とコントローラーを同時に使うことができる機能です。  手とコントローラーの切替を即座に行いたい場合  片手でコントローラー、片手はハンドトラッキングする場合  片手だけコントローラーを使うなど併用や片方だけの利用などを実現する場合  Quest/Quest2/Quest3のコントローラーには対応していないので注意してください。対応している コントローラーは、下記のコントローラーです。Quest ProのコントローラーをQuest2/3とペアリ ングして利用する場合は、Quest2/3でもこの機能を利用できます。  Quest Proコントローラー  ジェスチャーコントロール2.2のFast Motion Mode (素早い手の動きのトラキング)との併用ができま せん。

ヘッドトラッキングの設定  Packagesフォルダにある、Meta XR COre SDKのPrefabsフォルダにある。OVRCameraRigを Hierarchy(Scene)上にドラッグアンドドロップします。これで基本の頭のトラッキングができます。  不要になったMain Cameraを削除します。  OVR Managerコンポーネントで、Origin TypeをFloor Levelにします。

マルチモーダルの設定  OVRCameraRigのOVR Managerコン ポーネントで、マルチモーダルの設定を行い ます。  Hand Tracking Support：Controllers And Hands  Concurrent Hands/Controllers：Enable  Enable concurrent Hands and Contollres：true

手に持っていないコントローラートラッキングの設定①  Packagesフォルダにある、Meta XR Core SDKのPrefabsフォルダにある。 OVRControllerPrefabをHierarchy(Scene)上の LeftHandAnchorDetached(RightHandAnchorDetached)の下に、ドラッグアンドドロップしま す。

手に持っていないコントローラートラッキングの設定②  ドラッグアンドドロップしたOVRControllerPrefabを選択し、InspectorでControllerにTouch、 Show StateにController Not in Handを選択します。両手とも同じ設定を行います。

手に持っているコントローラートラッキングの設定①  Packagesフォルダにある、Meta XR Core SDKのPrefabsフォルダにある。 OVRControllerPrefabをHierarchy(Scene)上の LeftControllerHandAnchor(RightControllerHandAnchor)の下に、ドラッグアンドドロップしま す。

手に持っているコントローラートラッキングの設定②  LeftControllerHandAnchor(RightControllerHandAnchor)の下のOVRControllerPrefabを選択 し、InspectorでControllerをLtouch(RTouch)に、Show StateをController In Handに設定しま す。

ハンドトラッキングの設定①  Packagesフォルダにある、Meta XR Core SDKのPrefabsフォルダにある。OVRHandPrefabを Hierarchy(Scene)上のLeftHandOnControllerAnchor(RightHandOnControllerAnchor)の下に、 ドラッグアンドドロップします。

ハンドトラッキングの設定②  LeftHandOnControllerAnchor(RightHandOnControllerAnchor)の下のOVRHandPrefabを選 択し、Hand / Skelton / Mesh Typeを左手(右手)に、Show StateをController in handに設定し ます。

動作をEDITORで確認  Meta QuestをUSBケーブルで接続(AirLinkでも可)し、Quest Link起動。  Unity Editorで実行します。コントローラーをもって認識するか？ するか確認します。 コントローラーを置いて手を認識

実機でのDEBUG

実機でのデバッグ方法 下記の3つの方法を説明します。 ① Visual Studioを使い、Step実行でDebugする方法 ② Logcatを使い、Androidのログを表示する方法 ③ Canvasをシーン上に置き、ログを画面に表示する方法

①VISUAL STUDIOを使い、STEP実行でDEBUGする方法  実機にビルドする際に、Development BuildとScript Debuggingにチェックをいれます。

実機で実行  QuestをUSBで接続した状態で、Build And Runを選択し実機で実行します。

VISUAL STUDIOでデバッガーのアタッチ  Visual Studioを開き、デバッグメニューからUnity デバッガーのアタッチを選択します。  インスタンスの選択が表示されるので、Android Playerで 接続中のQuestを選択しOKボタンを押下 します。

ステップ実行  ブレークポイントを設定し、ステップ実行で動作を確認しデバッグします。

②LOGCATを使い、ANDROIDのログを表示する方法  Package ManagerでUnity RegistryからLogcatをインストールします。

C＃でログ出力  UnityのDebugでログを出力するようにコーディングします。  ビルドして実機で実行します。 using System.Collections; using System.Collections.Generic; using UnityEngine; public class DebugTest : MonoBehaviour { // Start is called before the first frame update void Start() { Debug.Log("◆◆◆ Debug Start ◆◆◆"); } // Update is called once per frame void Update() { Debug.Log("◆◆◆ Debug ◆◆◆"); } }

LOGCATの表示  USBでQuestと接続します。  メニューのWindowから、Analysis、Android Logcatを選択します。

ログの表示  実機のログが表示されます、FilterでUnityのC#で出力した内容を絞り込んで確認してください。

③CANVASをシーン上に置き、ログを画面に表示する方法  実行時に簡易的にログを見たい場合、ログをCanvasに出すCanvasWithDebugプレハブが使えます。 しかし以前の開発環境であるOculus Integrationには含まれていたのですが、Meta SDKでは用意さ れていないようです。

CANVASWITHDEBUGのエクスポート  Oculus Integration v57がインストールされている環境から、DebugUI配下のAssetをExportしま す。

CANVASWITHDEBUGプレハブの配置  CanvasWithDebugをインポートし、 CanvasWithDebugプレハブをシーン上のカメラから見える 位置に配置します。  DebugUIBuilderコンポーネントのText Prefabへの参照が落ちているので設定しておきます。

SCRIPTでログを出力  DebugUIBuilder.instanceを使い、ラベル(AddLabel)もしくはテキスト(AddTextField)をCanvas に出力します。 using System.Collections; using System.Collections.Generic; Using UnityEngine; Public class DebugTest : MonoBehaviour { // Start is called before the first frame update void Start() { DebugUIBuilder.instance.Show(); DebugUIBuilder.instance.AddLabel(„▼▼▼ Debug Start ▼▼▼”, DebugUIBuilder.DEBUG_PANE_CENTER); } // Update is called once per frame void Update() { DebugUIBuilder.instance.AddTextField(„▼▼▼ Text ▼▼▼”, DebugUIBuilder.DEBUG_PANE_RIGHT); DebugUIBuilder.instance.AddLabel(„▼▼▼ Label ▼▼▼”, DebugUIBuilder.DEBUG_PANE_LEFT); } }

実機で実行  UIの要素(LabelやText)が無限大に追加されていく仕様のため、大量のログを出力するには向きません。 しかしボタンの追加なども可能で、テスト時にボタンにメソッドを割り当てて呼び出すこともできるの で、テスト機能を呼び出しこともできます。やりたいことに合わせての使い分けが必要です。

XR AUDIOを試す アンビソニックス音源

３Dオーディオ  AmbiXフォーマットのアンビソニックオーディオの再生をサポートしています。  アンビソニックオーディオとは 3Dオーディオのフォーマットで、シーンベースの球体の音場で録音・再生が可能です。 動画のAudioにも埋め込み可能なので、360度動画をアンビソニック対応にすることができます。 フォーマット 内容 オブジェクトベース オブジェクトにAudio Source(音源と音響)のデータを追加して、Listenerの 位置で聞こえる音をリアルタイムで計算にして再生させます。 シーンベース Listenerのまわりの空間全体を、空間マイクを使って音の位置や移動を録音し たもの、それを再生するものです。

360°VIRTUAL REALITY AUDIO RECORDER  アンビソニックス方式のVRマイクの例 アンビソニックス左右（水平方向）、上下（仰角）、前後（奥行き）360°全方位の音を収録するア ンビソニックス録音が可能。アンビソニックスBフォーマット（FuMa、Ambix）への変換可能です。 バイノーラル方式の録音をサポート。 https://zoomcorp.com/ja/jp/handheld-recorders/handheld-recorders/h3-vr-360-audio-recorder/

• https://zoomcorp.com/ja/jp/handheld-recorders/handheld-recorders/h3-vr-360-audio-recorder/

AMBISONIC SOUNDの音源を入手  Ambisonic Soundのサンプルを入手します。 https://library.soundfield.com/browse/Ambience/Urban

• https://library.soundfield.com/browse/Ambience/Urban

AMBISONICの設定  ダウンロードしたAmbiXのファイルをUnityに取り込みます。  Audio Clipを選択し、InspectorでAmbisonicにチェックを入れApllyで適用します。

META XR AUDIO SDKをインポートする  Package Managerを開き、Meta XR Audio SDKをインポートします。

AUDIO設定  DSPバッファサイズは、Best latencyに設定します。プラットフォームでサポートされる最小バッ ファサイズに設定し、全体的なオーディオの遅延を減らします。  Project SettingsのAudioを確認します。Spatializer PluginとAmbisonic Decoder PluginがMeta XR Audioに設定されていることを確認します。

LISTENER環境の作成  新しくシーンを作成し、OVRCameraRigを配置し、不要になったMain Cameraを削除します。  OVRCameraRigのCenterEyeAnchorのAudio Listenerにチェックをいれます。

AUDIO SOURCEの作成  空のGame Objectを追加し、EnvironmentalSoundsという名前に変更します。  EnvironmentalSoundsに、MetaXRAudioSourceコンポーネントを追加します。

AUDIO設定  MetaXRAudioSourceコンポーネントを追加したらAudio Sourceが自動で追加されます。 Spatializeにチェックは入れません。(入れるとモノラルになりAudio Source位置からの音源として 使われます。)  ダウンロードしたAudio Clipを参照に設定します。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  目をつぶり音に集中します、頭の向きをかえながら音がどこから聞こえてくるか確認します。

コントローラーでの移動 OVRPLAYERCONTROLLER

環境の準備  新規にシーンを作成します。移動できるスペースが必要なので、Cubeで床をFloorという名前で作成 します。 Colliderが無いとプレイヤーが自由落下してしまうので、Box Colliderがついている必要があ ります。  Main Cameraを削除します。

OVRPLAYERCONTROLLERの設定①  OVRPlayerControllerを検索し、シーンに追加します。  プレハブの中にあるOVRCameraRigのOVR ManagerのTracking Origin TypeをFloor Levelに変 更します。

OVRPLAYERCONTROLLERの設定②  UnityのCharacter Controllerと、OVR Player Controllerのコンポーネントで移動速度や回転角度の 設定が行えます。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  左右のコントローラのジョイスティックを使い、移動・回転ができます。

コントローラーでテレポート移動

テレポートで移動する  ジョイスティックの移動では、ベクション(視界の大半が動いた場合に自分が移動していると感じる錯 覚の)が生じてしまうため、視覚から感じる移動と、身体感覚的に移動していないことによるずれから VR酔いをしやすくなります。 ベクションを回避するには 1. 自分の体を使って本当に移動させる。体の動きに合わせて、視界が移動する。 2. 移動の途中をみせず、一気に移動先にワープさせる。 3. 視界を狭めて、視界の大きな範囲を変化させない。 ここからは、2つ目の方法であるテレポートを作ります。

AI NAVIGATIONをインストール  Package Managerを開き、AI Navigationをインポートします。

環境の準備  新規にシーンを作成します。移動できるスペースが必要なので、Cubeで床をFllorという名前で作成し ます。Colliderが無いとプレイヤーが自由落下してしまうので、Box Colliderがついている必要があり ます。  障害物用にCubeをいくつか追加します。  Main Cameraを削除します。  OVRCameraRigとOVRInteractionプレハブを追加し、前セクションの「Interaction sdkを使う」 を参考に設定を行います。

FLOORにNAVI MESHを設定する  HierarchyからFloorと障害物のCubeを選択し、InspectorでStaticに設定します。  WindowメニューのAIから、Navigationのパネルを開きます。

歩ける領域の定義  Navigationのパネルから、Bakeボタンを押して歩ける領域の設定を行います。

TELEPORT INTERACTABLEの設定  空のGame Objectを追加し、Walkableという名前に変更します。Teleport Interactable、Nav Mesh Surface(Meta提供の方)コンポーネントを追加します。  Teleport InteractableのSurfaceに、Nav Mesh Surfaceの参照を設定します。  Nav Mesh SurfaceのArea Name にWorkableと入力します。

RETICLE DATA TELEPORTの設定  WalkableにReticle Data Teleportコンポーネントを追加します。  Reticle ModeにValid Targetを設定します。 (移動可能なオブジェクトにはValid Target、移動不可のオブジェクトにはInvalid Targetを設定しま す。)

TIPS：COLLIDERの表面をテレポート先から除外する場合  Collider Surfaceを使います。Reticle Data TeleportをInvarid Targetに設定します。

LOCOMOTORの設定①  空のGameObjectをLocomotionという名前で作成し、PlayerLocomotorコンポーネントを追加しま す。

LOCOMOTORの設定②  PlayerLocomotorのPlayer Originに、OVRCameraRigの参照、Player HeadにCenterEyeAnchor の参照をセットします。

AXIS 2Dの設定(左手)  LeftControllerの下に空のGameObjectをControllerFeaturesという名前で作成し、OVRAxis2Dコ ンポーネントを追加します。  ControllerにL Touch、Axis 2DにPrimary ThumbstickとPrimary Touchpadを設定します。

AXIS 2Dの設定(右手)  左右で、コントローラーの割り当てが違うので注意。RightControllerの下に空のGameObjectを ControllerFeaturesという名前で作成し、OVRAxis2Dコンポーネントを追加します。  ControllerにR Touch、Axis 2DにPrimary ThumbstickとPrimary Touchpadを設定します。

LOCOMOTION INTERATORの設定①  CLocomotionControllerInteractorGroupを検索し、ControllerInteractorsの配下に追加する。 両手に 実施

LOCOMOTION INTERATORの設定②  CotrollerInteractorsに、追加したInteractorの参照を設定します。 両手に 実施

LOCAMOTION EVENTS CONNECTIONの設定  HandlerにPlayer Locomotorの参照を設定します。 両手に 実施

SELECTORの設定  SelectorのInput AxisにOVR Axis 2Dの参照を設定します。 両手に 実施

ACTIVATE/DEACTIVATEの設定  ActivateとDeactivateのInput AxisにOVR Axis 2Dの参照を設定します。 両手に 実施

CONTROLLERTURNERINTERACTORの設定  ControllerTurnerInteractorのAxis 2DにOVR Axis 2Dの参照を設定します 両手に 実施

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  左右のコントローラのジョイスティックを使い、ワープ移動・回転ができます。

音に合わせてコントローラーを振動 ハプティック クリップの作成と再生

ハプティクスクリップとは  ハプティクスクリップは振動を定義した.hapticという拡張子のファイルで、 Meta XR Haptics SDK で効果音などに合わせてコントローラーを振動させる仕組みです。  Meta Haptics Studioを使うことで振動を作成することができます。音をもとに振動を作成するのが 基本的な作り方になります。

META HAPTICS STUDIOのインストール  音を振動の波であるハプティクスクリップに変換するツールは下記からダウンロードすることができま す。(以下、Windows版で説明します。) https://developer.oculus.com/downloads/package/meta-haptics-studio-win https://developer.oculus.com/downloads/package/meta-haptics-studio-macos  ダウンロードしたzipファイルを解凍し、 meta-haptics-studio-desktop-win-1.0.0.exeを実行しイ ンストールを行います。  最初に起動した際に、利用条件の確認が表示されるので、Acceptを選択します。

• https://developer.oculus.com/downloads/package/meta-haptics-studio-win
• https://developer.oculus.com/downloads/package/meta-haptics-studio-macos

META HAPTICS STUDIO VR APPLICATIONのインストール  Meta QuestでStoreを開き、Hpaticsを検索し、Meta Haptics Studioをインストールします。  インストールが完了したら、 Meta Haptics Studioを起動します。

実機で振動確認するためQUESTとPCの接続  QuestとPCを同一のネットワークに接続。Questアプリで表示されたPCを選択しConnectボタンを 押下します。  PC側で右上のデバイスアイコンを選択、セキュリティコードを表示。Questアプリでその番号を入力 します。

ハプティクスクリップの作成  音をベースにハプティクスクリップを作成します。New Projectを選択し、サウンドファイルを選択 します。  GainやSensitivityなどのパラメータ調整や、頂点を手で修正することで狙いの振動を作成します。  クリップを追加する場合は、⊕ボタンで追加を行います。

振動の確認  Quest側のアプリでPCで作成中のクリップが表示されています。プレイボタンを押下すると実機のコ ントローラーに振動が再生されます。

ハプティクスクリップのエクスポート  Meta Haptics Studioの左側のクリップの一覧から出力するクリップを選択し、Exportボタンを押下 することで.hapticファイルを作成することができます。

META XR HAPTICS SDKのインストール  UnityのパッケージマネージャからMeta XR Haptics SDKをインストールします。

.HAPTICファイルをUNITYへ取り込む  新しくシーンを作成し、OVRCameraRigを配置し、不要になったMain Cameraを削除します。  OVRHandPrefabをHierarchy(Scene)上のLeftHandAnchor(RightHandAnchor)の下に、ドラッ グアンドドロップします。  作成した.hapticファイルをUnityのAssetsフォルダへコピーします。

HAPTICCLIPPLAYERを動作させるスクリプトを作成  HapticClipPlayerをインスタンス化して、HapticClipをプレイ、ストップするスクリプトを作成しま す。 protected virtual void Update() { try { if (OVRInput.GetDown(OVRInput.Button.PrimaryIndexTrigger, OVRInput.Controller.LTouch)) { _hapticClipPlayer.Play(Controller.Left); } if (OVRInput.GetUp(OVRInput.Button.PrimaryIndexTrigger, OVRInput.Controller.LTouch)) { _hapticClipPlayer.Stop(); } } catch (Exception e) { Debug.LogError(e.Message); } } using UnityEngine; using Oculus.Haptics; using System; public class HapticsPlayer : MonoBehaviour { [SerializeField] HapticClip _hapticClip; [SerializeField] HapticClipPlayer _hapticClipPlayer; protected virtual void Start() { _hapticClipPlayer = new HapticClipPlayer(_hapticClip); } protected virtual void OnDestroy() { _hapticClipPlayer.Dispose(); } protected virtual void OnApplicationQuit() { Haptics.Instance.Dispose(); } }

スクリプトをコンポーネントとして追加  クリップに.hapticファイルを設定します。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。  左のコントローラの人差し指ボタンを押下するとコントローラーの振動が開始、離すことにより振動が 停止します。

現実のキーボードを仮想空間に表示させる

現実世界のキーボードを仮想空間に持ちこむ • 対応しているキーボードであれば、現実空間のキーボードを仮想世界に表示することができます。対応して いるキーボードは下記のとおりです。 • Logitech K830 • Logitech K375s • Logitech MX Keys Universal (グラファイト) • Logitech MX Keys for Mac (スペースグレー) • Logitech MX Keys Mini Universal (ペールグレー) • Logitech MX Keys Mini for Mac (ペールグレー) • Apple Magic Keyboard • Apple Magic Keyboard (テンキー付き) • Apple Magic Keyboard (Touch IDおよびテンキー付き) • Microsoft Surfaceキーボード

対応キーボードをQUESTとつなぐ  今回はK830を利用します。Questを起動し設定アイコンから設定を開き、デバイスからBluetoothを 選択。ペアリングボタンを押下して、新しいデバイスとペア設定でペアリングを行います。

利用するキーボード設定  キーボードを選択し、Bluetoothキーボードの編集ボタンを押下します。  メーカー選択、キーボード選択を行います。

OVRTRACKEDKEYBOARDの追加  新しくシーンを作成し、OVRCameraRigを配置し、不要になったMain Cameraを削除します。  Packagesより、OVRTrackedKeyboardをシーンに追加します。

OVRTRACKEDKEYBOARDのコンポーネント  OVRTrackedKeyboardのコンポーネント、ここにPassthroughのコンポーネントも含まれます。

OVR MANAGERの設定  HierarchyからOVRCameraRigを選択し、OVR Managerの設定で、Tracked Keyboard Support とPassthroughの設定を行います。

実行して確認する  ビルドする場合は、QuestをUSBケーブルで接続しBuild And Runで実機で動作確認します。  Quest Linkを利用する場合は、USBでPCに接続(もしくはAir Link)しPlayを押下します。 ※Quest Linkでも動作するという情報もありましたが、ビルドしないと動作しませんでした。  対応しているキーボードを見ると、そこにCGが表示され手を近づけると自分の手(手の部分がパスス ルー)で表示されます。

TIPS : キーボードを選択する  スクリプトからKeyboard Selection Dialogメソッドを実行することで、Questにキーボードの選択 ダイアログを表示することができます。 リモートキーボードの場合 trackedKeyboard.LaunchRemoteKeyboardSelectionDialog() ローカルキーボードの場合 trackedKeyboard.LaunchLocalKeyboardSelectionDialog()

関連情報のご紹介

META QUEST開発関連資料  Meta Quest開発関連では、下記資料も公開中です。  Oculus Integration V46/V55をお使いの場合はOculus Integration Interaction SDKの資料、こ ちらも参考にしてください。 https://www.docswell.com/s/Ovjang/KJLLXE -Performance https://www.docswell.com/s/Ovjang/5DL ERK-Quest https://www.docswell.com/s/Ovjang/ZRX3 E9-AVATOR

• https://www.docswell.com/s/Ovjang/ZRX3
• https://www.docswell.com/s/Ovjang/5DL
• https://www.docswell.com/s/Ovjang/KJLLXE

 adb shell setprop debug.oculus.experimentalEnabled 1  adb shell setprop debug.oculus.command_line_media_capture true