ライブエンタメ産業におけるUnityの活用と未来

12.4K Views

October 26, 22

#unity #unitysync #Unity #プレビズ #メタバース #ライブエンタテインメント #DX

スライド概要

stuが目指す、ライブエンタテイメント業界のDX化に向け取り組んできた実績と、思い描く未来について、Unityを用いたテクノロジーをベースに解説いたします。

こんな人におすすめ:
・ライブエンタテインメントに興味があるUnityエンジニア/デザイナーの方
・産業分野でのUnityの活用に興味のある方
・次世代の制作ワークフローに興味のある方

受講者が得られる知見:
・ライブエンタテインメント業界がどのように成り立っているのか
・ライブエンタテインメントの将来の形がどのように変化していくのか
・Unityがライブエンタテインメントにどのようにインテグレートされていくのか

出演:
高尾航大 (株式会社stu)
青木雄斗 (株式会社stu)

--
初出: SYNC 2022 #UnitySYNC
https://events.unity3d.jp/sync/

Unity Technologies Japan

@UnityJapan

スライド一覧

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 5.69MB)

関連スライド

UnityのVR開発環境の現状整理 2022

unity unitysync

Unity Technologies Japan 152.7K

UIもshaderで盛る！〜 shaderとanimationで作るリッチなUI演出

unity unitysync

Unity Technologies Japan 112K

オープンソース自動運転シミュレーター「AWSIM」のご紹介と実装事例

unity unitysync

Unity Technologies Japan 80.5K

トゥーンシェーダー応用編～楽して破綻のないアウトラインを目指して～

unity unitysync

Unity Technologies Japan 74K

モバイル向け大量描画テクニック

unity unitysync

Unity Technologies Japan 68.8K

【Unity道場 2月】シェーダを書けるプログラマになろう

gpu unity unity3d shader unity道場 unitydojo unity道場 2月~シェーダを書けるプログラマになろう~

Unity Technologies Japan 44.4K

各ページのテキスト

https://docs.google.com/file/d/1EiNkAKd09HKhaft6YL-j_8Dx6h4A9fiR/preview

10.

11.

12.

13.

プレビズの必要性映像産業では一般的になっているプレビジュアライゼーション。しかしながら、ライブ産業では未だにプレビズワークフローが存在しません意外かもしれませんが、2回、3回と全体リハーサルをしている現場は稀でほとんどぶっつけ本番で演出をしているのが現状です。クオリティの向上や、ワークフローの改善にはイテレーションが不可欠なはずですよね。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

14.

なぜこれらの問題が起こるのか？人件費・機材費・会場費が莫大にかかるから実際の物理的な会場で物事が動くので、コストが半端ではない場所的、時間的な拘束も当然ながら多くなる都度チームが組成されるから IT業界では一般的なSlackなどの利用もなく、LINE等でクローズドコミュニケーション CGプロダクションの黎明期 (ShotGridがなかった時代) と非常に似ていませんか？そして、この改善に取り組んできた事業者が、残念ながら居なかった。そんな問題を我々はDXで解決したい。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

15.

https://j-lodr3.jp/subsidy4/case-02/

16.

17.

18.

どうすれば使ってもらえる？どんなに優れたツールでも、導入してもらえなければ意味が無いですよね現場スタッフ用のツールは存在するが、マネジメントを包括したものは存在しないマネジメントサイドが導入しやすいソフトウェアにする必要がある = 操作が簡単・PCスペック不要さらに現場のスタッフの要求に耐えるプロフェッショナル仕様も同時に備える = 高機能・ハイエンドグラフィックどちらも置いてけぼりにしないDXが求められます Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

カメラワーク実際のカメラのトラッキングにも対応光学式カメラトラッキングシステム機械式カメラトラッキングシステム https://www.youtube.com/watch?v=_Xz73QoADoQ https://www.youtube.com/watch?v=KWa-ruUbBOo Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

33.

34.

35.

36.

37.

そもそもメタバースライブって？明確な定義はありませんが、かいつまんで言うと…… ● バーチャルタレントのアバター（またはリアルタレントの映像）が歌ったり踊ったりする ● ユーザーが自宅からアバターでログインして、同じ空間でライブを楽しむという要素が含まれることが多い。「バーチャルライブ」と呼ばれていたものが「メタバースライブ」と呼ばれる比率が上がっている。専用のプラットフォームを開発する場合もあれば、Fortnite のように、既存ゲームの中でイベント的に行う場合もある。「バーチャルキャラクターのライブ」としては物理会場のスクリーンに投影する形式のライブもあるため、今回はユーザーがアバターログインする形態のライブを指して「メタバースライブ」という言葉を使うことにする。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

38.

39.

40.

バーチャルライブの技術的課題スタジオ事前収録方式とは事前に収録されたアニメーションをインターネット経由でダウンロードし、クライアント上で 3D モデルに反映することで再生する方法。現存する多くのメタバースライブがこの方式を採用する。音声、楽曲、モーションなどをすべて事前にダウンロードすることになる。データ化ユーザーPC アップロード（事前）タイムラインは概ね一本道で、クライアントは開始シグナルを受信して再生を開始する。ダウンロードが完了してしまえば、事故が起こりづらいという大きなメリットがある。読み込み Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL ダウンロード（事前）

41.

バーチャルライブの技術的課題スタジオ事前収録の技術的課題① 双方向性の欠如リアルタイムなパフォーマンスと異なり、オーディエンスとの双方向性を演出に組み込むことができない。双方向性のある演出とは、例えばオーディエンスのペンライトの色を見て MC で反応したり、掛け合いをしたり、一緒にゲームをしたり……等。データ化ユーザーPC 読み込み Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL アップロード（事前）ダウンロード（事前）

42.

バーチャルライブの技術的課題事前収録の技術的課題② 事前ダウンロードサイズの肥大化数時間のライブのモーションを含むデータをクライアントに事前配信する場合、アクターの人数に応じて GB 単位のデータをクライアントにダウンロードさせる必要がある。 💦 継続的にプレイするゲームと異なり、単発の体験が多いバーチャルライブにおいては、事前にダウンロードするデータ（要求するストレージの空き容量）は少ない方が望ましい。読み込み Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL ダウンロード

43.

44.

バーチャルライブの技術的課題スタジオリアルタイム方式とは TCP などの通信方式を用い、キャプチャーしたデータを即時インターネット経由でクライアントにストリーミング伝送する方法。データ化音声とモーションをストリーミングし、楽曲音源などは事前収録方式との組み合わせになることが多い。ユーザーPC リアルタイム伝送リアルタイム MC としてユーザーとのコミュニケーションを取りながらのライブが実現できるのが大きなメリット。リアルタイム伝送 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

45.

バーチャルライブの技術的課題リアルタイムの技術的課題① 伝送経路の異なる複数メディアの同期ずれリアルタイム配信のバーチャルライブにおいては、「モーション」「音声」「口パク」などの複数種のデータを同時伝送することが重要になる。ここで「音声」を RTC などの音声配信の仕組み、「モーション」「口パク」を独自の配信機構で送信する場合、相互にタイミングずれが発生する可能性がある。 RTC (100〜200ms) TCP (50〜1000ms) クライアントPC Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

46.

バーチャルライブの技術的課題リアルタイムの技術的課題② 大量ユーザーへの配信が非現実的音声や映像でないデータ、つまりモーションキャプチャーやリップシンクを含むデータをリアルタイムに送信するためには、一般に MQTT や WebSocket、UDP や TCP 上に構築した独自プロトコルなどが使われる。これらのプロトコルは数万オーダーの大量接続が難しく、サーバーのスケールアウトで対応することが要求される。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

47.

48.

Multimedia Simul-Streaming Protocol メディアタイプの異なる時系列データを単一のセグメントにパッケージングし、インターネット越しに配信することでメディアタイプ間のタイミングを保証した状態でクライアントに伝送する技術。特徴として「事前同期」と「セグメンテーション」によって CDN 経由での大量接続を実現することができる。 VR空間 (クライアント) イベント会場インターネット LTC DMX Movie / Sound Motion Capture Volumetric Capture Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

49.

MSSP = HLS や MPEG-DASH を参考にさまざまなメディアタイプをセグメント化する技術 ● 音声, 映像, モーションキャプチャデータ, MIDI, OSC, DMX, Alembicデータなど、デジタルデータであれば、どのような内容でも含めることができる ● フォーマットの中身に関与しないため、含めるデータをそれぞれ最適な圧縮アルゴリズムで圧縮することができる ● ストリームデータはセグメント（＝ファイル）に分割されるため、 CDN 経由で配信することができる ● 同期が取れたデータソースを MSSP で送信することで、受信側でも同様の状態でデータを再生することができる Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

50.

ライブで使用されるデジタル信号一般的なライブ卓は、有線で接続されたローカルネットワークで構成されている Sound data XLR, Canon cable DMX data DMX cable Video data SDI, HDMI cable Real-time motion capture data VBH Format (LAN) OSC data OSC Protocol (LAN) これらの信号を同期を保ったままインターネットを介して配信できるようになることで、ライブ演出をリモートで制御でき、リアルタイムのバーチャルライブを実現 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

51.

52.

53.

通信データ圧縮 MSSP で扱うデータソースは、個別に異なるアルゴリズムを用いて圧縮することができる。データが連続的に変化する場合に利用でき、圧縮率と計算量が常に固定になる ADPCM (Adaptive Diﬀerential Pulse Code Modulation) などが最適なケースもある。 ADPCM は通常、音声の圧縮に使われるアルゴリズムであるが、実は変化が連続的なデータであれば何にでも適用可能。 ADPCM の実装方式にもよるが、検証で利用した ima-adpcm では 16bit 整数から 4 bit 整数への固定長圧縮を行うことができる。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

54.

通信データ圧縮メリットが大きかったものとして、モーションデータの ADPCM 圧縮が挙げられる。通常、モーションデータは各ボーンの回転を Quaternion によって表すが、Quaternion による回転には連続的でない変化が存在するため、そのまま ADPCM で圧縮することができない。そこで可動域によるポーズ表現を用いることで、モーションデータも ADPCM で圧縮することができるようになった。代表的なものとして、Unity が提供する Humanoid の Muscle がある。 Muscle 値 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

55.

参考テクノロジー HLS Video streaming protocol (by Apple) The .m3u8 ﬁle contains a group of URLs of the segments stored in the CDN, and the video data of the corresponding time is acquired. MPEG-DASH Video streaming protocol (by MPEG). It uses .mpd ﬁle instead of .m3u8. MMT In addition to the similar video distribution functions as HLS/DASH, synchronized playback with multiple MMT streams is possible. Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

56.

57.

58.

MSSPによるリアルとバーチャルの接続ボリューメトリックビデオの遠隔伝送に研究機関対応するための開発を推し進める現実のライブをそっくりそのままリアルタイムでバーチャル空間上へ持っていくことができるように！産学連携しながら最先端の研究開発を推進エンジンサポート Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL ボリューメトリックキャプチャスタジオ

59.

60.

61.

ライブエンタメ産業におけるUnityの活用と未来

Unity Technologies Japan

関連スライド

UnityのVR開発環境の現状整理 2022

UIもshaderで盛る！ 〜 shaderとanimationで作るリッチなUI演出

オープンソース自動運転シミュレーター「AWSIM」のご紹介と実装事例

トゥーンシェーダー応用編 ～楽して破綻のないアウトラインを目指して～

モバイル向け大量描画テクニック

【Unity道場 2月】シェーダを書けるプログラマになろう

各ページのテキスト

UIもshaderで盛る！〜 shaderとanimationで作るリッチなUI演出

トゥーンシェーダー応用編～楽して破綻のないアウトラインを目指して～