【Unite Tokyo 2019】ライブエンターテイメントにおけるUnity

ライブエンターテイメント における

Twice Dome Tour 2019 #DreamDay

ディスプレイ Twice Dome Tour 2019 #DreamDay

ムービングライト — ムービングライトにはいろいろな機 能がある – – – – – – ライトビーム カラーホイール ズーム フォーカス ゴボ（影絵のようなフィルタ） プリズム（光線が分かれる） それぞれの機能に対して、DMXのチャン ネルが割り振られていて、DMXの値で操 作できる

電飾 — — — DMXの各チャンネルの値で、対応 するLEDのRGB値を設定する LED1個につき、RGB3チャンネル分 のDMXチャンネルを使用 セットに入れ込む電飾の規模で使 用するDMXチャンネルの数が膨大 な数になる

照明卓 Art-Net(照明・電飾信号） ● 電飾卓 DMX USB リアル照明 リアル電飾 ● ● LTC Audio Interface LTC（タイムコード）をもとに各 曲の始まり、演出の始まりを 判定 ○ 背景の動画の切り替え ○ 環境光設定の切り替え ○ セットの切り替え Art-NetをもとにUnity内の照 明、電飾を操作 最終レンダリング結果を LED ディスプレイの入力に合わせ てチャートに分け、送出 LTC(Linear Time Code) 副調整室 音源を再生したり、全体のコントロールをするセクション LEDパネル送出

最終出力 映像を で出力 内で、 ディスプ レイ左右のエリア、セ ンターのエリアが分け られている 各エリアの映像が各 ディスプレイに映し 出される

での開発

での開発 いくつか、エピソードを交えながら解説します — 連動の開発 – – — ボリュームライトの開発 – – — Art-Netでオブジェクトを操作可能にする UDPデータのレコーダー／プレーヤー AssetStoreのアセットを使用 アセットの修正・改良 カメラの開発 – LEDディスプレイへの最終レンダリング

— — ムービングライトやLED電飾はDMXという信号を用いて操作する Art-NetはEthernetネットワーク上でUDPを使用して照明信号を送る – — デファクトスタンダード 照明さん電飾さんには照明卓、電飾卓からArt-Netを送ってもらう Lanケーブル(or Wifi) Art-Net （UDP信号） 照明・電飾卓 映像制御システム卓(stu)

— — Art-NetをUnityで使用する ArtNet.Netという.Net用のライブラリを 利用した – – – Art-Netの送受信を行う https://github.com/sugi-cho/ArtNet.Unity [Unity ArtNet] 同じArtNetをUnityと実機材に送り、バーチャ ルの照明とリアルのムービングライトが同じ 動きをするように開発

• https://github.com/sugi-cho/ArtNet.Unity

— 実際の照明、電飾の動きは照明さん、電飾さんの卓から送ってもらう – – — 実際の照明、電飾の動きを見るためにデータを打ってもらう必要があった（基本、照明・電飾のオ ペレーションは手打ちのところが多い） デバッグが大変 送られてきたUDPのデータを記録・再生する仕組みを作った – – https://github.com/sugi-cho/UdpData-Unity [Unity UdpData]

• https://github.com/sugi-cho/UdpData-Unity

UdpRecorder Art-Net信号 （UdpData） data.udp

Debug & Develop UdpPlayer Art-Net data.udp

ムービングライトの開発 — – – – – Unity Asset Store Volume Shadow 軽量（それなりに重い Goboのシミュレーション可能

ムービングライトの開発 — Art-Netで操作可能 – – – – – – — Pan/Tilt Color (Wheel) Gobo Prizm Focus Etc.. 機種によって変わる – – – Sharpy Mytos B-EYE

照明のセットアップ 照明デザイナーさんの照明 計画の図面をもとに、 Unity 内に照明を配置 1ステージ当たり、 50-100灯 体設置 → Light Objectの数

NHK紅白、実際の曲の照明キューを送るテスト 2018 12/14

、光の調整 — HxVolumetricSpotLight.shader

の 行目を修正

本番直前、同じ曲 2018 12/30

ボリュームライトの減衰の調整結果 Original Shader調整後

実空間の延長線上にある — LEDディスプレイの向こう側にも 空間繋がっているように見せる – 連動感 – スケール感 – パースを合わせる 内の世界

実空間との連動感 — — — ステージ上の照明・電飾 ディスプレイ内のバーチャル照明 ・電飾 リアルタイムで同じように制御す る – 同じ信号で、同じ動きをす る

パースを合わせるカメラの実装 — — — Unity内のカメラの位置を現実空間上のカメラの 位置（想定視点）に配置 カメラからLEDディスプレイへのプロジェクション 行列(Frustum Matrix)を計算 Camera.projectionMatrixに行列を設定 →設定した位置から LEDディスプレイを見たとき、リア ル空間とバーチャル空間でパースが合うようになる

（ — — — ）開発プロセスまとめ 開発 照明 – – — 電飾の開発 – — — HxVolumetricLighting（AssetStore） アセットの修正 エディター拡張 安定化、チューニング 現場、リハ、本番！

ライブの映像を — 本番直前での色調整が可能 – – — １つのセットでも照明演出次第で 複数の楽曲に対応 可能 舞台セットの転換を一瞬で行える – — リアル照明とバーチャル照明 を同じ操作で制御 できる リアルとバーチャルの統一感を出せる 音楽に合わせた映像演出の作りこみが可能 – — 映像だと、1曲分レンダリングするのに 数十分～数時間 かかる リアルタイムだと即座に反映 熟練の照明オペレーターさんがそのまま映像内の照明演出をつく ることができる – – — でリアルタイムに出す利点 物理セットだと大道具小道具等 たくさんの人手 が必要 リアルタイムレンダリングで生放送 ライブに挑むドキドキ感を味わ える

Real - Virtual

どういうイベント バーチャル空間上でのライブ 輝夜月さんを主人公に、 世界初の商業リアルタイム を実現 音楽ライブ 全国の映画館・特設会場でライブビュー イングを実施

過去 回開催

さっそくですが、仕組みの話

配信方法

ライブ開催プラットフォーム — バーチャルイベント空間 — ユーザーが自由にイベントを開催・参加できる — クライアントは 製

ライブ参加方法は 通り ライブビューイング

ライブ参加方法は 通り ライブビューイング

ライブ配信構成

トリガー トリガーを打つことによって、次の曲の演出が走る

ライブビューイング配信構成 会場 配信機 スイッチ ライブビューイング

リアルタイム — コントローラを接続、視点を操作 – — カメラマン Clusterさんの機能 その絵をスイッチャーに送る ゲームが得意な人をアサイン

開発

ライブセットリスト やりたい演出をセットリストに落とし込む。 ワンシーンでどのように実現するか

演出のタイムライン制御 ライブ全体をタイムライン 本で制作 分業効率化のため、セクションごとにタイムライ ンを用意 タイムラインと同時にセット切り替え

ユーザ間同期 トリガーが打たれた時刻でタイムスタンプ が保存される ログインしたときの時刻差分 ムラインの再生位置を把握 トリガー でタイ ログイン ここから 再生

分業体制 各セクションでシーンを分け、それぞれで開発。

各作業のマージ マスターシーンにすべての個別シーンを マージする。 、必要な を引っ張ってきて、 この際、各 だけ が、 セクション外部のオブジェクトを参照してい る場合、挿しなおしてあげる

結合フロー — ライブ制作ユニット — 本 リポジトリが走っている状態

結合フロー さんのリポジトリに直接自分がコ — ミット – — 1stの時はunitypackageを納品していたが、 先方のアセット階層に最適化しなければなら ず2度手間だった ブランチに – すると、自動的に会場 がビルドされる仕組み 先方を煩わせることなく確認可能

VRライブならではの制作

制作コアメンバー ライブ 1stライブ プロデューサ プロデューサ ディレクター ディレクター サウンドエンジニア サウンドエンジニア モデラー モデラー アニメーター エンジニア エンジニア 当時全員フリーランス

制作期間 カ月

ブレスト 曲が決定していない中で、 演出や各セットのイメージ・つなぎを固める エンジニアがこの時点で参加 → ダイナミックにステージが動いても わどい判断が可能だった というき

演者との共創感 — 演者と一緒に移動する — 会話する

ストーリー — 曲個別の演出ではなく、全体を見通 した演出設計 – — ライン – — ステージが上がっていくなど 期待値を高める オチ – 余韻・儚さ・壮大さ – よかったなと思わせる – 2度驚かせる

ライン — ディズニーリゾートのアトラクション に乗る前の待機列の高揚感 — 初めから抽象空間だと驚きが半減 する – 物理・心理的に正しい空間 – 写実的な床や壁を用意する 待機時間は、ライブ本編よりも長い https://castel.jp/p/720

• https://castel.jp/p/720

オチ ライブの盛り上がりから一気に感動に落とし込む演出 感動した後にうしろを振り返ると、さらにフォトスポットなどが出現 → ユーザ同士で余韻に浸る

進行絵コンテ・ コンテ

プレビズ で見たときのスケール感の調整用 — — 簡単なウォークスルーアプリ – シーンを分離しておくことですぐにアプリが出力できた

モデリング — ラフネスマップを必ず入れる – — 均等な反射だと VRで安く見える 影 – – ワンシーン解決なので、ベイク不可 半透明影オブジェクトを 1層重ねる でのスケール感の確認 — – 思った以上に大きいサイズの方が良 かったり... 度きちんと作る

サウンド 作曲家と協力 — 劇伴 – – — 効果音 – – — 落とすピアノ 壮大なオーケストラ 拍手 クラッカーの音 音が途切れる時間を作らない – – 拍手の余韻 薄く流れる機械音 絵的な演出がうまくいかなくても、音でカバーできる

ライブカメラワーク あまりキメすぎず、ライブカメラっぽい追い方 – レールカメラ – LookAtカメラ – 遠景固定カメラ

タイポグラフィックス — タイムライン拡張 テキストモーションの演出 — – ダイレクトに観客へ飛んでくる今まで にない演出

ムービングライト — タイムライン拡張 — 実際の照明の動きを参考に – 将来的にはアセット化したい

シェーダー の文脈も取り込みたい気持ち — — 抽象的な演出 — ボディ周りに出てくるネオンオブジェクト — 服の模様 – 特殊な手法 – UTSをオーバーライド

ライブ — 演出の幅が実質無限大 – — 参加それぞれに良さがある お互いがどちらも体験したいとの声が多かった 演者と触れ合える – — 現実と違い、物理的な制約を受けない ライブビューイング・ – — 現実ライブ 身体的な危険性がない 地理的・人数的な入場制限がない – 世界中からログイン可能

ライブの今後の可能性 — 現場のノウハウを持ち込みたい – — プロの照明・電飾・カメラマンの使用に耐えるシステム作り 表現をしたい方との密な演出設計 – 演者さんの目指す世界観に入り込めるような演出 ライブならではの演出や機構を「 」の垣根を超えて模索していく

https://stu.inc

• https://stu.inc