MRTKハンズオン

ARコンテンツ作成勉強会 ノンプログラミングで始めるAR開発 with MRTK

始める前にダウンロードを済ませよう http://arfukuoka.lolipop.jp/mrtk/Sample.zip

• http://arfukuoka.lolipop.jp/mrtk/Sample.zip

SDKのダウンロード (1/3) https://github.com/Microsoft/MixedRealityToolkit-Unity Releases

• https://github.com/Microsoft/MixedRealityToolkit-Unity

SDKのダウンロード (2/3) 少し下にスクロール 今回はMicrosoft Mixed Reality Toolkit v2.8.3を使用

SDKのダウンロード (3/3) Foundation.2.8.3.unitypackageをダウンロード Foundation.2.8.3.unitypackage

今日の内容 MRTKを使ったオブジェクトの表示と手を使った操作

Unity Hub起動 Unity Hub

プロジェクトの作成 (1/6) ①Projects ②New Project

プロジェクトの作成 (2/6) ここをクリック

プロジェクトの作成 (3/6) 2020.3.X

プロジェクトの作成 (4/6) 3D

プロジェクトの作成 (5/6) プロジェクト名(例: Day03) 保存場所 Create Project

プロジェクトの作成 (6/6) Unity Editorが起動すればOK

MRTKのインストール Assets ->Import Package ->Custom Package

MRTKのインストール Microsoft.MixedReality.Toolkit.Unity. Foundation.2.8.3.unitypackage Open

MRTKのインストール Import

MRTKのインストール Built-in Unity plugins

MRTKのインストール Skip Setup Until Next Session

空間にCGを追加しよう (1/3) 何も選択していない状態で 空白を右クリック

空間にCGを追加しよう (2/3) ① 3D Object ② Quad

空間にCGを追加しよう (3/3) 四角形が追加される ※角度によっては見えない

Scene内の視点の変更 [←][→]で左右移動 [↑][↓]でズームイン/アウト [Alt]+ドラッグで回転 +ドラッグで上下左右

Quadが見えなくなってしまった場合 Quadをダブルクリック Hierarchy内のオブジェクトのダブルクリックでオブジェクトを視界の中央に

数値入力による位置・向き・サイズ調整 Quad [下記設定にする] Positionを 0 0 1 Rotation 0 0 0 Scale 0.3 0.3 0.3

Scene内の視点の調整 拡大・縮小や移動により見づらくなった

Scene内の視点の変更 (再) Quadをダブルクリック Hierarchy内のオブジェクトのダブルクリックでオブジェクトを視界の中央に

Next Step Quadにテクスチャを適用

マテリアルの作成 Assetsを右クリック

マテリアルの作成 Create -> Material

マテリアルの作成 TextureMaterialにリネーム

マテリアルの作成 Quad Materialsを開く

マテリアルの適用 TextureMaterialをElement0に ドラッグ&ドロップ

テクスチャを適用してみよう

テクスチャの適用 TextureMaterial直下の ドロップダウンを開く

テクスチャの適用 (1/8) Transparent Unlit

テクスチャの適用 TextureMaterialを開く 後ほど画像をセットする

テクスチャの適用 Sampleフォルダ png画像をAssetsに ドラッグ&ドロップ

テクスチャの適用 Quad TextureMaterialを開く

テクスチャの適用 png画像をNone(Texture)に ドラッグ&ドロップ

テクスチャの適用 テクスチャが 適用される

現状を保存 File -> Save As...

現状を保存 ①MRTK_Sample ②Save

現状を保存 MRTK_SampleができていればOK

次回以降は Ctrl / Command + S で上書き保存可能

ここからようやくMRTK

始めに実現すること UnityEditor内で移動や手を使った操作を行う準備

MRTK用のカメラや表示の設定 MixedReality ->ToolKit ->Add to Scene and Configure

MRTK用のカメラや表示の設定 MixedRealityに関する オブジェクトが追加される

動作確認 Play

動作確認 [A][D]で左右移動 [W][S]でズームイン/アウト [Q][E]で上下移動 右クリック+ドラッグで回転

動作確認 [Shift]で左手を表示 [Space]で右手を表示 手を表示した状態+ [クリック]でつまむ [スクロール]で前後移動 ※今のところオブジェクトは操作できない

動作確認 Playを再度クリックして停止

オブジェクトを手で操作しよう

Quadを操作可能にする ① Quad ② Add Component

Quadを操作可能にする Objectで検索 ObjectManipulatorを選択

Quadを操作可能にする ① Quad ➁ ObjectManipulator が追加される

動作確認 Play

片手での操作

動作確認 ShiftまたはSpaceで手を表示

動作確認 指の先から出ているカーソルを合わせる

動作確認 ドラッグして移動

両手での操作

動作確認 Shiftで左手を表示

動作確認 ① カーソルを合わせてクリック ② [T]を押下して手を固定

動作確認 Spaceで右手を表示

動作確認 カーソルを合わせてドラッグ

動作確認 前後左右に動かして回転・拡大縮小

自作のオブジェクトを追加しよう (今回は事前に用意したオブジェクト)

OBJファイルを追加 Assets

OBJファイルを追加 Sampleフォルダ → Model

OBJファイルを追加 ModelフォルダをAssetsに ドラッグ&ドロップ

OBJファイルを追加 Model

OBJファイルを追加 model.obj

OBJファイルを追加 Hierarchyにドラッグ&ドロップ

オブジェクトの微調整 model 椅子を適当な位置に配置 Position 0.5 0 1

カーソルや手との接触判定 接触判定をするにはmodel.objに Colliderを追加する必要がある

Colliderの追加 (1/5) ① model ② Add Component

Colliderの追加 (2/5) ① Boxで検索 ② Box Collider

Colliderの追加 (3/5) バウンディングボックスが表示される

Colliderの追加 (4/5) ① model ② Edit Collider

Colliderの追加 (5/5) 各面の■を動かして大きさを編集

椅子を手で操作可能にする (1/3) ① model ② Add Component

椅子を手で操作可能にする (2/3) ① objectで検索 ② ObjectManipulator

椅子を手で操作可能にする (3/3) ① model ② ObjectManipulatorが追加される

両手操作時はScaleのみにする ① model ②Two Hand Manipulation Type をScaleのみにする

動作確認

パフォーマンスの表示を消す これを消す

MRTKの詳細設定 ① MixedRealityToolKit ② Mixed Reality Toolkit の下のドロップダウンメニュー

MRTKの詳細設定 ① MixedRealityToolKit ② DefaultHololens2ConfigurationProfile

MRTKの詳細設定 Clone

MRTKの詳細設定 ① ProfileNameをHolo2 MixedRealityToolkit... に変更 (NewをHolo2に変えるだけ) ② Clone

MRTKの詳細設定 ① Diagnostics ② Enable Diagnostics System のチェックを外す

動作確認 パフォーマンス表示が消えた

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

Build Setting for HoloLens2 File

Build Setting for HoloLens2 Build Setting

Build Setting for HoloLens2 ① Universal Windows Platform ② Switch Platform

Build Setting for HoloLens2 Show Setting

Build Setting for HoloLens2 Windows MixedRealityをオン

Build Setting for HoloLens2 Next

Build Setting for HoloLens2 Apply

Build Setting for HoloLens2 Next

Build Setting for HoloLens2 Import TMP Essentials

Build Setting for HoloLens2 Done

Build for HoloLens2 Build

Build for HoloLens2 New Folder

Build for HoloLens2 buildに名前を変更

Build for HoloLens2 ① buildを選択 ② フォルダーの選択

しばらく待つ

Build for HoloLens2 buildを開く

Build for HoloLens2 ソリューション(*.sln)をVisualStudio2019で開く

Build for HoloLens2 Release ARM

Build for HoloLens2 ▼

Build for HoloLens2 デバイス

HoloLens2とPCをUSBで接続

Build for HoloLens2 ① デバッグ ② デバッグなしで開始

動作の様子

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

実機へのインストール  HoloLens2  ARFoundation(ARKit/ARCore)

ARFoundationの導入 Window

ARFoundationの導入 Package Manager

ARFoundationの導入 Unity Registry

ARFoundationの導入 ARで検索

ARFoundationの導入 AR Foundation

ARFoundationの導入 Install

ARFoundationの導入 Close

ここからiOS向けの手順 (Androidユーザーはちょっと待ってて)

ARKitの導入 (for iOS) ① ARKit XR Plugin ② Install

ここからAndroid向けの手順 (iOSユーザーはちょっと待ってて)

ARCoreの導入 (for Android) ① ARCore XR Plugin ② Install

ここからARCore/ARKit共通

Build Setting for ARFoundation MixedRealityToolkit

Build Setting for ARFoundation Clone

Build Setting for ARFoundation Mobile MixedReality Toolkit...に変更 Clone

Build Setting for ARFoundation Mobile MixedRealityToolig...を選択

Build Setting for ARFoundation ① Camera ② Clone

Build Setting for ARFoundation ① ProfileNameをSample1 MixedRealityCameraProfile に変更 (NewをMobileに変えるだけ) ② Clone

Build Setting for ARFoundation Camera Setting Providers

Build Setting for ARFoundation Windows Mixed Reality Camera Settings

Build Setting for ARFoundation Typeに注目

Build Setting for ARFoundation ドロップダウンを開く

Build Setting for ARFoundation ① MicrosoftMixedReality.Toolkit.Experimental.UnityAR ② UnityARCameraSetting

Build for ARFoundation File

Build for ARFoundation Build Settings...

Build for ARKit(iOS) ① iOS ② Switch Platform

Build for ARCore(Android) ① Android ② Switch Platform

Build for ARFoundation Apply

Build for ARFoundation Player Settings...

ここからiOS向けの手順 (Androidユーザーはちょっと待ってて)

Build for ARKit(iOS) Other Settings

Build for ARKit(iOS) Bundle Identifierを設定 例) com.Yoshinaga.ARFukuoka

Build for ARKit(iOS) Strip Engine CodeをOff

ここからAndroid向けの手順 (iOSユーザーはちょっと待ってて)

Build for ARCore(Android) Package Nameを設定 例)com.yourname.arfukuoka

ARCore/ARKitそれぞれの方法で ビルドして実機にインストールしてください