バーチャルライブ制作・大解剖【UEなんでも勉強会 - バーチャルライブ編 - vol.1】

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 1 UEなんでも勉強会 - バーチャルライブ編 - vol.1 バーチャルライブ制作・大解剖

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 2 NOBUAKI KAZOE REZ& Co-Founder / Director UE歴はちょうど3年

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 3 多くのバーチャルライブが制作されている中で、 それぞれのプロダクションで創意工夫されパイプラインが設計されています。 こうして制作手法を開示していくことで業界活性化や これから制作に入ってくる人たちの窓口になれば幸いです。 質疑応答では企画の特性上話せないこともあります。

UEなんでも勉強会 - バーチャルライブ編 - vol.1 バーチャルライブ制作・大解剖 講演内容 ❶ プロダクションチーム紹介 ❷ Sing upライブ企画について ❸ UEバーチャルライブ制作 ・バーチャルライブのワールド制作 ⭕ ・演出制作❶ - 光で魅せるステージライティング ⭕ ・演出制作❷ - Niagara演出エフェクトの作り方 ・撮影監督システム - Widgetブループリントでツール開発 ・テクニカルパイプライン - UEと他ソフトウェアとの連携 ❹ 現場での動き ・リハーサルで練度を上げる現場進行の秘訣 ❺ 質疑応答 Page 4

プロダクションチーム紹介 UEなんでも勉強会 - バーチャルライブ編 - vol.1 ライブリキャップを中心とした実写を追求してきた『MMT』 ステージや仮想空間での視覚演出・ビジュアルアートを制作する『REZ&』による 新たなライブ市場拡大への模索するため結成したクリエイティブチーム。 Page 5

WORKS Midnight Grand Orchestra 1st LIVE『Overture』 ピーナッツくん Walk Through the Stars Tour Final Kizuna AI Virtual Fireworks Concert UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 6

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 7 VTuberプロダクション

WORKS NANASHI Sing up vol.1-Sparkle- Rene Ryugasaki 1st solo live「Garnet Moon」 UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 8

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 9 NANASHI Sing up企画について 「ななしいんくミュージ ック」企画の第⼀弾として、 新環境の3Dシステムを⽤いて2023年5⽇3⽇に ななしいんく YouTubeチャンネルにて無料配信されました。 出演 ： 宗谷いちか / 龍ヶ崎リン / 茜音カンナ / 涼海ネモ

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 10 NANASHI Sing up企画について 出演者紹介 茜音カンナ 宗谷いちか 龍ヶ崎リン 涼海ネモ

UEなんでも勉強会 - バーチャルライブ編 - vol.1 NANASHI Sing up企画について ななしいんく公式Youtubeチャンネルから現在も全編視聴可能 Page 11

UEなんでも勉強会 - バーチャルライブ編 - vol.1 NANASHI Sing up企画について バーチャルライブ(オンラインライブ)制作手法３分類 ① 収録型 事前に歌やモーションを撮っておいて書き出すパターン。 UEでやる場合にはシーケンサーで書き出したり、 PLAYした映像を映像収録して編集する。 ② 半収録型 部分的に収録やリアルタイムを利用するパターン。 UEから書き出した映像や、一部分だけPLAYして使用する。 MCや影ナレだけ生のパターンもある。 ③ リアルタイム型 歌もモーションも演出もリアルタイム。 UEでPLAYしたものを配信ソフトで世界へ。 NANASHI Sing upはこちらのパターン ※どれが優れているということではなく、いずれの方法も企画段階で要件や最終出力を検討され決められます。 Page 12

UEなんでも勉強会 - バーチャルライブ編 - vol.1 NANASHI Sing up企画について 要件の割り出しと目指すべきポイント ✅ 要件の割り出し 企画会議で出された要件 ・歌唱、モーション、演出をリアルタイムでUEから出力する。 ・リアルタイムなのでクラウド(見てる人)と一緒に盛り上がれるようにする。 ◆UEからの出力ターゲットは1920 x 1080 30FPS 検討課題 ・作れるワールドの大きさはどれくらいか？ ・演出として詰め込める量はどれくらいか？(例えばライティングデザインやエフェクト) ・スパイクが発生してしまうようなレベルの切り替えはあるか？ ✅ 目指すべきポイント 現場でのインスピレーション・協奏を起こせるようなパイプライン設計！ ライブ中に感動の連鎖が起きるようなワークフロー設計！ 現場でセッションをするイメージ。セッションを成立させる！ Page 13

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 14 NANASHI Sing up企画について 制作チーム編成と役割紹介 UEで作業する人は7名程 プロデューサー Takatoshi Ito (MMT) PM, フロアディレクター Genki Ishii (MMT) ディレクター ライティングデザイナー Nobuaki Kazoe ワールドディレクター VJ Takuya Miyagawa Takeshi Nobematsu (REZ&) (MMT) テクニカルディレクター エフェクトアーティスト テクニカルサポート Joe Ohara Marin Ogasawara キャラクターシェーダー アーティスト (REZ&) (MMT) Haruyoshi Yamamoto (Leon Gameworks) (REZ&) 撮影監督 Shunta Endo ※上記はスタッフの一部です。さらに運営チーム、PRスタッフ、音周りのスタッフ、現場スタッフがいます。

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 15 UEバーチャルライブ制作 ・バーチャルライブのワールド制作 ⭕ ・演出制作❶ - 光で魅せるステージライティング ⭕ ・演出制作❷ - Niagara演出エフェクトの作り方 ・カメラの作り方・撮影監督システム - Widgetブループリントでツール開発 ・テクニカルパイプライン - UEと他ソフトウェアとの連携

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 16 バーチャルライブ制作・大解剖 バーチャルライブのワールド制作【制作４工程】

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 17 バーチャルライブのワールド制作 ① キーワード抽出しコンセプトを決める Sing upであればワールドのコンセプトは「神聖さ」 「聖域」 「ななしいんくの特別なライブステージ」 音が響き渡る空間 = 「ななしミュージック」としてのライブが世界に響くような空間 → 「教会」 「神殿」 🔼ワールド制作 / 初稿 🔼ワールド制作 / ライブ告知映像より

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 18 バーチャルライブのワールド制作 ② シルエットを作成 ステージの位置や形(丸か四角か)を決め、ステージの後ろの雰囲気や、空間としての雰囲気を確認・作成する。 Sing upでは特にステージとステージ上にあるメインモチーフとなるドームの大きさ合わせなど。 この段階で昼や夜、ライトを当てた際にどう見えるかを確認する。 🔼ワールド制作 / 初稿・日中イメージ 🔼ワールド制作 / 初稿・夜イメージ

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 19 バーチャルライブのワールド制作 ③ キットバッシング コンセプトに合わせて世界観の解像度を上げていくためにアセットを配置していく パイプオルガン、シャンデリア、蝋燭、ステンドグラス、ななしさん像 この段階で世界観についての打ち合わせがある 🔼ななしさん象に囲まれる祭壇 🔼歌うななしさん象 🔼新ななしいんくアイコン

UEなんでも勉強会 - バーチャルライブ編 - vol.1 UEお役立ちコラム マーケットプレイスのアセット Page 20

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 21 バーチャルライブのワールド制作 ④ プロシージャルライティング ベースの明るさを作る作業。ワールドの雰囲気を出すライティング。明る過ぎればライブ空間にならない。 今回は「教会」や「神殿」がモチーフだったので夜の教会をリファレンスにライティングしている。 🔼夜の教会風ライティング 🔼ライブ照明が消えた際、暗転時の基準になる

UEなんでも勉強会 - バーチャルライブ編 - vol.1 UEお役立ちコラム プロシージャルライティング参考 Page 22

UEなんでも勉強会 - バーチャルライブ編 - vol.1 バーチャルライブのワールド制作 ワールド制作事例 Rene Ryugasaki 1st solo live「Garnet Moon」 Page 23

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 24 バーチャルライブ制作・大解剖 演出制作❶ - 光で魅せるステージライティング

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 25 演出制作❶ - 光で魅せるステージライティング ① リファレンス集め セットリストや演出内容、ライトの配置に合わせてライティングデザインを考える。 ワールドのディレクターと話してシーンごとのイメージを作成していく 🔼ライティングデザイン前 🔼ライティングデザイン後

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 26 演出制作❶ - 光で魅せるステージライティング ② 灯体の設置・ワールドに合わせた灯体の準備 ステージ上、ステージ後ろ、ステージ上部、空間用演出用の灯体、アクトフィルなど役割ごとに灯体を設置 ワールドによってはBlueprintで新たに灯体アセットを組む。DMXで回収できない仕組みをBPに持たせたりする。 🔼ステージ上部は空間と馴染むようにラダー 🔼アクトを正面から照らすキーライト 🔼アクトを包むように照らすフィルライト 🔼神殿の内部を照らす灯体

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 27 UEお役立ちコラム ブループリントでのDMX灯体開発 🔼自作灯体アセット群 🔼ブループリントで組めば既存のアセットをDMXで操作可能 🔼DMX Fixture内で設定されているゴボ 🔼DMXプラグインについての解説動画。日本語字幕あり

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 28 UEお役立ちコラム DMXのコントロールについて 🔼grand MA3 UI / 灯体のレイアウト画面 🔼grand MA3 On PC 🔼grand MA3 UI / グループ、カラー、ゴボ

UEなんでも勉強会 - バーチャルライブ編 - vol.1 演出制作❶ - 光で魅せるステージライティング ③ ステージ上でのアクトの見映え確認と調整 シェーダーアーティストとひたすらキャッチボール。ライトが当たった時の不具合を洗い出していく この作業を丁寧にやれば現実に近い形でライティングができる リアルタイムだとキャストシャドウをONにできるライトは限られる。どのライトで影を入れるかはポイント Page 29

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 30 演出制作❶ - 光で魅せるステージライティング ④ 曲に合わせた照明の打ち込み ライトのデザインがある程度終わったら曲に対してキューを打ち込んでいく キューの作り方によってはFPSにヒットしてしまうので、処理が重くなってしまう灯体は最適化を行う。 🔼grand MA3 / 曲のキューと再生するタイムライン 🔼虹を表現するために付けられたアトミックライト48台

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 31 UEお役立ちコラム バーチャル空間上での映像演出・VJ表現 🔽透過スクリーンを模したVJ例 🔽透過スクリーンを模したVJ例 🔼建物にプロジェクションマッピング デカールを使用 🔼カーテンにプロジェクションマッピング デカールを使用

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 32 バーチャルライブ制作・大解剖 ご清聴ありがとうございました。 質疑応答用QRコード▶

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 33 🔼今回のライブのシステム図やテクニカルパイプラインについては、 近日発売のVIDEO SALONで特集されています。

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 34 🔼以前のライブ制作時のシステム図

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 35 🔼マスターコントロールシステム 🔼カメラスイッチシステム

UEなんでも勉強会 - バーチャルライブ編 - vol.1 Page 36 🔽OSCライティングコントロールシステム 🔼カメラコントロールリグ 🔽バーチャルカメラマン 🔼Vive Trackerセンシングモニターシステム