Apple Vision Pro開発事例とAI活用の紹介

3.6K Views

October 25, 24

#ホロテク24 #Apple Vision Pro #空間コンピューティング #アプリ開発 #AR #AI

スライド概要

2024/10/11に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

ホロラボ

@HoloLab

スライド一覧

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 93.58MB)

関連スライド

3DモデルとPower BIの悪魔合体「建物みえるくん」をつくってみた！

holoconf23 bim

ホロラボ 34.8K

トヨタのxR活用事例ご紹介～ホロラボとの開発秘話を中心に (ホロラボカンファレンス 2022 トヨタ自動車株式会社栢野様発表スライド)

hololens mixed reality holoconf22

ホロラボ 32.2K

BIMから3次元モデルを消してみたら、意外に便利でした

holoconf23 bim

ホロラボ 30K

3DGS･フォトグラメトリ比較と最新事例

ホロテク24

ホロラボ 20K

三菱重工業との取り組み事例　～HoloLensなどを活用した現場向けコミュニケーションツールの開発～

holoconf22 hololens mixed reality

ホロラボ 18.3K

⽵中⼯務店の“建設DX”と “open BIM”と“xR” (ホロラボカンファレンス 2022 株式会社竹中工務店橋口様、川上様発表スライド)

hololens mixed reality holoconf22

ホロラボ 13.6K

各ページのテキスト

Apple Vision Pro開発事例と AI活用の紹介上山晃弘杉浦司

自己紹介 • 杉浦司（すぎうらつかさ） • ホロラボ / ソフトウェアエンジニア • 主に画像・点群、センサー、機械学習を扱う • アキヒロ @akihiro01051 • ホロラボ / Spatial Computing エンジニア • Apple Consultants Network コンサルタント • 「Apple Vision Proアプリ開発入門」執筆メンバー Copyright© HoloLab Inc. All rights reserved 2

Apple Vision Pro 概要 • 現実とデジタルを融合させたまま周囲の人と繋がれる空間コンピュータ • 違和感のない現実空間の表示 • 低遅延のビデオパススルー表示を行うR1チップ • 複数センサによる環境情報の取得 • 現実空間に融合したかのようなデジタルコンテンツ • 他のデバイスや人とのスムーズで直感的な連携 https://www.apple.com/jp/apple-vision-pro/specs/ Copyright© HoloLab Inc. All rights reserved 8

https://www.apple.com/jp/apple-vision-pro/specs/

Apple Vision Pro 概要 • 現実とデジタルを融合させたまま周囲の人と繋がれる空間コンピュータ • 違和感のない現実空間の表示 • 現実空間に融合したかのようなデジタルコンテンツ • 低遅延で精度の高いハンドトラッキングとオクルージョン • 没入感を高めるアイトラッキングとディスプレイ • 他のデバイスや人とのスムーズで直感的な連携 Copyright© HoloLab Inc. All rights reserved https://www.apple.com/apple-vision-pro/ 9

https://www.apple.com/apple-vision-pro/

Apple Vision Pro 概要 • 現実とデジタルを融合させたまま周囲の人と繋がれる空間コンピュータ • 違和感のない現実空間の表示 • 現実空間に融合したかのようなデジタルコンテンツ • 他のデバイスや人とのスムーズで直感的な連携 • FaceTimeによる遠隔の人との繋がり • EyeSightで対面の人との違和感の低減 • AirDrop,AirPlayなどのAppleデバイス同士の連携 https://support.apple.com/ja-jp/guide/apple-vision-pro/tan357ede966/visionos 10 Copyright© HoloLab Inc. All rights reserved

https://support.apple.com/ja-jp/guide/apple-vision-pro/tan357ede966/visionos

10.

Apple Consultants Network認定 • Apple Consultants Network認定 • Apple Consultants Networkは、Appleおよびサードパーティのソリューションを専⾨とする独⽴系プロフェッショナルサービスプロバイダとテクノロジーコンサルティング企業のグローバルコミュニティです。(2024/4/18) • アプリ開発本出版、関連イベント実施 • Showcaseアプリ公開 Copyright© HoloLab Inc. All rights reserved 12

11.

アプリ開発本出版、関連イベント実施 • Apple Consultants Network認定 • アプリ開発本出版、関連イベント実施 • 「Apple Vision Pro アプリ開発入門」発売中 • 著者：中村薫、加藤広務, 上山晃弘, 鷲尾友人 • 書籍関連イベント実施(発売記念イベント、もくもく会) • Showcaseアプリ公開 Copyright© HoloLab Inc. All rights reserved 13

12.

13.

14.

15.

16.

17.

製造、建築、土木プロダクト事例 mixpace Apple Vision Pro • 3DCADやBIMの設計データのVision Pro可視化アプリ • 設計データの変換ソリューション「mixpace」と連携 • 3Dデータを3Dのまま確認できることで立体感、実在感が実感 • デザインレビュー、施工検証、プレゼンテーションで説得力の高い表現が可能 Copyright© HoloLab Inc. All rights reserved 19

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

EnterpriseAPI 特定の従業員、ビジネスユーザーに対して機能を解放 AppStoreへの公開不可、エンタープライズライセンスの申請が必要機能 • Main camera access • Passthrough in screen capture • Spatial barcode and QR code scanning • Apple Neural Engine access • Object-tracking parameter adjustment • Increased performance headroom • UVC Device Access on visionOS New Copyright© HoloLab Inc. All rights reserved 32

31.

32.

33.

34.

35.

36.

37.

Apple Vision Pro x AIの活用 • Apple Vision ProではAppleからAIを活用した強力な機能が提供されていますが、これに限らず独自に用意したAIを使うこともできます • Apple Vision Proで独自に用意したAIを活用する例を紹介します • Apple Vision Proをどう活用していくか、そのヒントのひとつとなれば幸いです Copyright© HoloLab Inc. All rights reserved 39

38.

Apple Vision Pro x AI（画像認識） • Apple Vision Proのカメラ映像とAIによる画像認識を組み合わせることで現実世界を認識できる • ホロラボではAIによる画像認識をUnityのアプリケーションに簡単に組み込めるライブラリ「HoloLab DNN Packages」を開発、OSSとして公開しています • Apple Vision ProでどのようなAIによる画像認識が動くのか、いくつかの例を紹介します https://github.com/HoloLabInc/HoloLabDnnPackages Copyright© HoloLab Inc. All rights reserved 40

https://github.com/HoloLabInc/HoloLabDnnPackages

39.

40.

41.

Apple Vision Pro x AI（大規模言語モデル） • 大規模言語モデル（LLM）の開発が進み、手軽に活用できるようになりつつあります • LLMは潤沢な計算リソースを必要とするため一般にサーバー上で推論されますが一方でデバイス上で推論できる小型のモデルも研究されています • Apple Vision Proでエッジデバイス向けに開発されたLLMがクラウドサーバーなどを使わずにオンデバイスで動作する様子を紹介します Copyright© HoloLab Inc. All rights reserved 43

42.

43.

44.

45.