ついに出た！期待の最新XRグラス『MiRZA』の最速紹介＆徹底解説

ついに出た！期待の最新XRグラス 『MiRZA』の最速紹介＆徹底解説 デバイス概要(荒木) ： 10分 技術概要(長峰) ： 10分 どんなものがつくれるか？(荒木&長峰) ： 15分 質疑応答(荒木&長峰) ： 10分 X : @alucky7th X : @KzoNag 1

デバイス概要 とは？ 国内工場で製造された “JAPAN MADE”のXRグラス 2

デバイス概要 とは？ 無色透明 & ワイヤレス 3

デバイス概要 のスペック ※一部抜粋 重量 ： 約125g 解像度 ： FHD (1920×1080) 視野角 ： 45°（対角） 輝度 ： 約1,000nits 光学装置 ： MicroOLED 両眼フルカラー 連続使用時間 ： 1～1.5時間 ※カメラ使用時や明るさを最大にした際などの負荷の高い使い方の場合 充電方法/時間 ： 本体同梱のUSB Type-Cケーブルにて、2時間以下で充電可能 オーディオ ： マイク×4、スピーカー×2 その他センサー ： タッチセンサー（操作用） 加速度/ジャイロ/カメラによる空間認識センサー（6DoF表現用） 4

デバイス概要 のスペック ※一部抜粋 重量 ： 約125g 解像度 ： FHD (1920×1080) 視野角 ： 45°（対角） 輝度 ： 約1,000nits 光学装置 ： MicroOLED 両眼フルカラー 連続使用時間 ： 1～1.5時間 ※カメラ使用時や明るさを最大にした際などの負荷の高い使い方の場合 充電方法/時間 ： 本体同梱のUSB Type-Cケーブルにて、2時間以下で充電可能 オーディオ ： マイク×4、スピーカー×2 その他センサー ： タッチセンサー（操作用） 加速度/ジャイロ/カメラによる空間認識センサー（6DoF表現用） 5

デバイス概要 の重量 約125gは重たくないのか？ ハイエンドモデルに分類される6DoFの他社製 XRグラスの最軽量は約83gですが… 締め付けない程度にホールドしてくれるため 約125gを感じません。 6

デバイス概要 の視野角 約45°は狭くないのか？ ハイエンドモデルに分類される6DoFの他社製 XRグラスと比較して数字に大きな差はないが … 無色透明になったことで45°だからこそのメ リットがありました。 7

デバイス概要 の視野角 部屋に緑色の巨大な四角形を配置した場合 スマホAR 8

デバイス概要 の視野角 グラスが無色透 明 45°（対角） フルスクリーン XRグラスでは存在しない ※2024年10月現在 スマホの画面が 見やすい スマホの画面が 見やすい 視野角が広過ぎないからこそのメリット 9

デバイス概要 の視野角 写真も撮りたいしフルスクリーンでも見たい？ スマホARと併用すれば良い スマホAR 10

デバイス概要 の輝度 かなりイメージが近いです。 約1,000nitsの実力 ※既存のXRグラスの約2倍 11

デバイス概要 の充電 1～1.5時間 有線のXRの稼働時間は無限？ MiRZAならType-Cで充電しながら使用も可能。 12

では”どんなものがつくれるか？” の話をするための前提知識として長峰より”技術概要”をお話します。 13

技術概要 14

技術概要 Snapdragon Spaces 15

技術概要 Snapdragon Spaces ● Qualcomm Technologies社が提供するXR開発プラットフォーム ● Qualcomm製チップを搭載する対応デバイス向けアプリのためのランタイムと開発 SDKを提供 ● VR/MRヘッドセットとスマートフォン接続型ARグラスに対応 https://spaces.qualcomm.com/developer/ 16

• https://spaces.qualcomm.com/developer/

技術概要 対応デバイス Lenovo ThinkReality A3 Lenovo ThinkReality VRX MiRZAはSpaces対応デバイス 無線接続のARグラスとしては初 Skyworth 1CPro https://spaces.qualcomm.com/devices/ Sony XR HMD SRH-S1 17

• https://spaces.qualcomm.com/devices/

技術概要 Spaces AR SDK for Unity MiRZA向けアプリにはUnity向けのSpaces AR SDKを利用します。 https://spaces.qualcomm.com/developer/ar-sdk/ 18

• https://spaces.qualcomm.com/developer/ar-sdk/

技術概要 SDKの機能 19

技術概要 トラッキングと入力方式 ● 6DoFトラッキング ● Gazeコントローラー ○ ● 頭の向きによる操作 コンパニオンコントローラー ○ スマートフォン画面UIと3DoFのレイ操作 ● ハンドトラッキング ● XRコントローラー ○ VR/MRヘッドセット向け https://docs.spaces.qualcomm.com/platform/architecture/snapdragon-spaces-custom-launcher https://docs.spaces.qualcomm.com/unity/handtracking/extended-hand-tracking-sample 20

• https://docs.spaces.qualcomm.com/platform/architecture/snapdragon-spaces-custom-launcher
• https://docs.spaces.qualcomm.com/unity/handtracking/extended-hand-tracking-sample

技術概要 環境認識 ● 空間アンカー ● ヒットテスト ● 平面検出 ● 画像トラッキング ● QRコードトラッキング ● 空間メッシュ https://spaces.qualcomm.com/all/introducing-qr-code-tracking/ https://spaces.qualcomm.com/all/introducing-spatial-mapping-meshing/ 21

• https://spaces.qualcomm.com/all/introducing-qr-code-tracking/
• https://spaces.qualcomm.com/all/introducing-spatial-mapping-meshing/

技術概要 特徴的な機能 ● カメラフレームアクセス ○ ● RGBカメラの画像を取得して アプリ内で使用できる Dual Render Fusion ○ グラスとスマートフォンそれぞれに 任意の表示ができる 22

技術概要 Dual Render Fusion ● 1つのプロセス(Activity) が、スマートフォンとARグラスの両方に対してレンダリング する表示方式 ● Dual Render Fusionを用いない方式では、アプリのプロセスはARグラスのみレンダ リングし、スマートフォン画面は別プロセスにより管理される https://docs.spaces.qualcomm.com/platform/architecture/dual-render-fusion 23

• https://docs.spaces.qualcomm.com/platform/architecture/dual-render-fusion

技術概要 2つの方式の違い Headworn (非Dual Render Fusion) Dual Render Fusion スマートフォン画面のカ スタマイズ AndroidStudioを利用して別アプリとしてデザインは 限定的にカスタマイズ可能 Unity上で自由にカスタマイズ可能 スマートフォンでの文字 入力 不可 可 スマートフォン側の単独 利用 スマートフォン側はコントローラー用の限定的な機 能しか持たないため不可 スマートフォン単独で動作させることが可能。グラ ス接続を検知してグラスに表示を開始するような 使い方もできる ARグラス側のアプリ終 了 アプリ内での終了処理または強制終了 スマートフォン側のアプリ終了に紐付きグラス側も 終了する スマートフォン側のアプ リを切り替えた際の挙動 グラス側はそのまま元アプリが表示された状態で 動作する グラス側には元アプリは表示されなくなる 24

技術概要 Spaces AR SDK for Unityの構成 25

技術概要 開発者が触るのは 主にUnityの標準 パッケージ Snapdragon Spaces はOpenXRの実装と して動作する アプリケーション ARFoundation XR Interaction Toolkit Input System OpenXR Snapdragon Spaces SDK Snapdragon Spaces Services (ランタイム) 別アプリとしてインス トールしたランタイム からデータを取得 Android OS デバイス 26

技術概要 OpenXR AR/VRデバイスで動作するXRアプリケーションを開発するための標準化されたオープン でロイヤリティフリーなAPIセット https://www.khronos.org/openxr/#xr-fragmentation 27

• https://www.khronos.org/openxr/#xr-fragmentation

技術概要 Unity標準パッケージ群 ● ● ● ARFoundation ○ UnityでAR機能を扱うためのパッケージ ○ 主にスマートフォンでARKit(iOS)/ARCore(Android)を扱うときに利用する ○ Spacesの環境認識機能はARFoundation経由で扱う XR Interaction Toolkit ○ UnityでXRコントローラーでの入力を扱うためのパッケージ ○ Spacesのコンパニオンコントローラーでのレイ操作はXR Interaction Toolkit経由で扱う Input System ○ Unityで様々なデバイスからの入力を統一的に扱うためのパッケージ ○ Spacesのコンパニオンコントローラーのタッチ入力等はInput System経由して扱う 28

技術概要 Snapdragon Spacesの印象 ● アプリ開発者は主にUnity標準パッケージで提供される機能群を利用して開発する ため、既存の開発知識を活かしやすい ● 機能としてはハイエンドのARヘッドセット系と同等で目新しさは少ないが、必要十分 な機能が提供されている ● Spaces自体がAR/VR両対応である点、Unity標準パッケージで構成されている点か ら、他デバイスとの組み合わせや、他デバイスからの移植を検討しやすいのではな いか 29

技術概要 その他の開発リソース 30

技術概要 Snapdragon Spaces 公式 英語ドキュメントとSDK付属のサンプルプロジェクト https://docs.spaces.qualcomm.com/ 31

• https://docs.spaces.qualcomm.com/

技術概要 コノキュー社提供リソース 日本語ドキュメントと追加のサンプル ホロラボが作成を 支援 32

技術概要 MiRZA固有の機能について 現時点では未公開ですが、以下のような機能がアプリ開発時に使用できることが期待さ れます。 ● グラス側面のタッチパッド入力 ● スマートフォンとグラスの接続 ● グラスの音量や輝度の調整 33

では”どんなものがつくれるか？”について 34

どんなものがつくれるか？ Dual Render Fusion 35

どんなものがつくれるか？ 公式ドキュメントより オンラインショッピング メディア視聴 ゲーム 家具や衣服などスマートフォン上 でカスタマイズしてARグラスで表 示することで操作性を向上 スマートフォンでのスワイプによる 選択と空間上に並べた写真のハン ドトラッキングによる配置など、入 力方式を組み合わせた直感的な 操作が可能 スマートフォン上でのゲーム画面 に加えて、追加で没入的な表現を ARグラスに表示 https://docs.spaces.qualcomm.com/unity/setup/dual-render-fusion-overview 36

• https://docs.spaces.qualcomm.com/unity/setup/dual-render-fusion-overview

どんなものがつくれるか？ DualRenderFusionの恩恵として グラスを起動していなくてもアプリは使える スマホにも映像を出せるという宣伝文句になっているが グラスを接続していなくてもアプリを操作できるという大きな違いがある。 理論上、XRグラス専用アプリではなく既存のスマホの企業アプリなどに追 加機能として乗せられる。 37

どんなものがつくれるか？ 既存アプリへの組み込み拡張 ● フードデリバリーサービス ● フリマアプリ ● SNS ● スポーツ観戦 既存コンテンツとXRコンテンツを同一アプリ内に共存 38

どんなものがつくれるか？ Work Style Support 動画や資料を空間に表示 ● PCからも操作可能 ● 展示会や説明が必要な現場での利用 ● ホロラボが開発協力 ● Dual Render Fusionでスマホ画面をカスタマ イズし、無線接続を活かして装着者と操作 者が異なるような使い方も可能 39

どんなものがつくれるか？ カメラフレームアクセス 40

カメラ画像認識 (GPT-4o) どんなものがつくれるか？ カメラフレームアクセスによる画像取得とOpenAIのGPT-4oを組み合わせて、 ARグラスのカメラに写っている物を認識するサンプル。 41

VPSで位置合わせ どんなものがつくれるか？ ● VPSはカメラ画像を元にデバイスの位置を測位する技術 ● 現実空間とデジタルオブジェクトとの位置合わせに必要 ● カメラフレームアクセスにより、ImmersalといったVPSサービスが利用できます 現実空間とデジタルオブジェクトとの位置合わせ事例 - 都市空間とXRで実現する未来【Hololab Conference 2024】 42

• https://www.youtube.com/watch?v=DPdm0SAR-dk&t=1535s

VPSで位置合わせ 既存のXRグラス ● どんなものがつくれるか？ 無色透明のXRグラス 透過度が高いから現実の景色とマッチする。 43

どんなものがつくれるか？ デモンストレーション 無線接続のMiRZAとスマホを何メートルまで離して使えるか？ 44

どんなものがつくれるか？ ハードウェアの特性 45

どんなものがつくれるか？ 製造業の現場など ヘルメットもOK 視界も良好でワイヤレスなので作業の邪魔 になりにくい。 1人がMiRZAを装着して別の作業員がスマホ を操作するなどの利用も可能。 46

高所作業や検査 ● どんなものがつくれるか？ 無線なのでスマホとグラスを離して使え る ● 高所の作業者がグラスを装着して地上 の指示者がスマホで映像を確認しながら 指示など 47

字幕・副音声 どんなものがつくれるか？ 見るだけじゃなく音声も (きらきらと輝く音) ● 透過度が高いため現実が鮮明に見える ● 映画館での副音声 ● 障がいがある人たちの可能性を拡張 鈴木：このシーンの吹き替え大変だったんですよね。 佐藤：難しい表現でした。 48

どんなものがつくれるか？ 他にも ● 無線＆透過度が高いから装着しっぱなしでも良さそう ● 必要なときだけ接続して使うようなユースケース ● 無線なので給電しながら使える。実質時間制限なし 49

ホロラボ、軽量でワイヤレス、 高性能なXRグラス「MiRZA」のソリューションパートナーとして提携 2024年10月24日、株式会社ホロラボ（以下、ホロラボ）は、株式会社NTTコノキューデバイスの 最新XRグラス「MiRZA™（ミルザ）」について、株式会社NTTコノキュー（本社：東京都千代田 区、代表取締役社長：丸山誠治）が展開する「MiRZAソリューションパートナー」として提携開 始することを発表いたします。 50