10分でわかる Unityコンピュータービジョン
1.6K Views
November 17, 21
スライド概要
2021/11/10に開催された Unity道場建築編 の講演スライドです。
講師：竹内 一生（ユニティテクノロジーズジャパン株式会社）
Unityのイベント資料はこちらから：https://www.slideshare.net/UnityTechnologiesJapan/clipboards
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
関連スライド
各ページのテキスト
Unity コンピュータービジョン 竹内 一生 ｜ Developer Advocate - AEC ｜
Computer Vision
Digital Cameras are Everywhere 3
Computer Vision(CV) the tech behind “smart camera” Computer Vision Model (CV models) Computer Visionはデジタル形式でのビジュアルデータから高レベルの情報を生成する プロセスです。 コンピュータは画像を読み取り、情報を作り出します。 4
人間は画像内の物体を容易に識別できる 5
CVモデルは、ラベル付き画像で訓練されなければならない。 6
一般的なCVのワークフロー Iterate Acquire Real World Images Label & Annotate Images Train CV model データ収集、ラベル付け、注釈に 全体の70%の時間を費やしています。 7 Evaluate CV model Deploy CV model
実世界のデータ収集の課題 – データの偏り – – – データの利用不可によるプロジェクトの プライバシーとコンプライアンス – – 収集されたデータは一部のみ データ不足 – データラベリングの課題 データ収集を妨げる 人間のラベリングのコスト – – 時間がかかり、純粋な人件費が必要 人間のラベルは誤りが起こりやすい – 単純な作業ほどミスが起こる
CVトレーニングを加速する鍵って？ 合成データ 実データを模倣するメタ情報を持った生成データ 基本的なパラメータなど、あらかじめラベルや注釈が付けられています。 9
ゲームエンジン CV ワークフロー Rapid Iteration 仮想空間内で 完全にラベル付けされ、 合成画像に注釈を付ける Train CV model Evaluate CV model 10 Deploy CV model
BIMって、あれ？？？
UnityでBIM情報が付与されてる 12
ゲームエンジンならではの環境設定 3Dモデル アセット プロシージャルアセット -フォトグラメトリ -アセットストア 13
住環境のシミュレーション環境 プロシージャルな家具の配置や、カメラの位置、素材、 ライティング、時間帯、空や屋外環境、さらにカスタム オブジェクトの環境への追加配置など、 数多くのランダム化要素を導入しています。 14
Generative Art — Made with Unity Unityでならデータを民主化 合成データを大量に生成し、AIに学ばせよう
住空間の質を向上させる お掃除ロボット スマートロボット掃除機の抱えている大きな欠点 ー地面に落ちているゴミとそれ以外の物体を区別できない ー障害物の多い場所での移動 16
Google Nest Cam The Challenge Unity コンピュータービジョン ● Google Nest Cam ● Google Nest Doorbell この商品の強みのひとつが、機械学習です。Google Nest Camは 人や動物、荷物や車両など9つのオブジェクトを検出でき、 Doorbellのほうはこれに加えて荷物も認識できます。 4000万枚以上の画像で機械学習済み。 Googleのプロダクトマネージャーを務めるジュリー・ズーさんによる と｢ゲームのような3D空間で、いろんな物体を表現し、アルゴリズム の精度を上げられました｣とのこと。使った合成猫ちゃんの数は250 万匹にのぼります。 出典：GIZMODO
Generative Art — Made with Unity コンピュータビジョンだけじゃない 教育済みデータを活用した アプリケーション開発 Unity Barracuda
「ディープラーニング」をランタイムで動作 ONNX（オニキス）とはOpen Neural Network Exchangeの略で深層学習モデルを表すために使用されるオー プンプラットフォームです。 一度学習させたモデルを様々なフレームで利用することが可能です。 19
「ディープラーニング」をランタイムで動作 顔の表情を検知するモジュールを追加 github github 20
「ディープラーニング」をランタイムで動作 複数の顔を検知するモジュールを追加 github github 21
そんな Unity Barracuda は UnityStationで！ Unity Learning Materials 22