バーチャルプロダクションとインカメラVFXについて / LEDスタジオ事業をロケットスタートする方法【Virtual Production Deep Dive 2023】

VPとICVFX スタジオブロス 嶋田

Virtual Productionとは？ • ICVFX ≒ Virtual Production • Virtual ProductionはRealtime技術と撮影技術を組み合わせた映像制作手法 Virtual Camera In Camera VFX Virtual Production Location Scouting ※画像はイメージ Visualization

ICVFXと従来のワークフロー 比較 従来 Preproduction Production Postproduction ICVFX

VAD（ Virtual art department）の登場 • VADはVP用に適したCGアセットからステージのオペレーションまでカバーする集団。 • 大きく分けて3つの区分になる。 フォトグラ素材を活かしシーンファイルの制作を行う デザイナー シーンファイルに群集や乗り物などの動きを付けStudioでオペレーションを行う スタジオ全体で使用するPipelineシステムなどを提供する エンジニア テクニカルアーティスト

過去の資産を活かしたVPパイプライン シネマティックやRT用のアセットを保存 過去の背景資産 スケーリングすることのできるアセットに改造 ピッチビズ テックビズ ユニークなアセット + アーカイブ シーンファイル制作 プリビズ

VPコンテンツのアフターケア ICVFX撮影 メタバース アセット制作 スマホアプリコンテンツ シーン制作 VR

バーチャルプロダクション フィールドガイド 第２巻 https://www.unrealengine.com/ja/blog/volume-2-of-the-virtual-production-field-guide-now-available

• https://www.unrealengine.com/ja/blog/volume-2-of-the-virtual-production-field-guide-now-available

Virtual Productionのコンテンツ制作落とし穴 問題の割合 • ICVFXはただの動く書割 ハードウェア コンテンツ • 様々なVP手法を取り入れるのがVP成功のカギ • LEDプロセッサー 35% • 実績のあるLEDとコントローラを必ず選ぶこと • 下準備とコンテンツのFPS問題 • クオリティーと処理負荷のバランス調整 65%

VPコンテンツとGameコンテンツの比較 項目 ゲーム ICVFXコンテンツ Texture解像度 ~4K ~8K レンダリング解像度 ~4K ~4K + 2K ~ 4K (InnerとOuter) CG空間内カメラの移動 多い 少ない FPSドロップ ユーザー決定 許されない ゲーム制作の場合、安定したフレームでシーンの切り替えや天候の変化などが求められる。 ICVFXコンテンツの場合、カメラの移動距離はゲームに比べ少なくなることが多い。 そのため、VPアセットはカメラワークの範囲外は実装せずに、カメラが映るところのみを作りこむと良い。 ※マーケットプレイスのアセットは大体ゲーム用に作られている。 そのまま使うとFPSが出ないやクオリティが低いなどの問題が起きるのでVADとの協力は不可欠

VPコンテンツ制作の心得 • 余計なものは足さない。 • 本当に必要かどうかPrevizの段階で考え必要な物のみを足す。 • インスタンス機能を必ず使う。 • DCCツールで作成した物を何も考慮せずにUEへ持ち込むとアセットが 重く使い物にならない場合がある。 • ICVFXだけにとらわれずVirtualCameraやLocationScoutingを 活用することを視野に入れる。

クレジット • Courtesy of Epic Games • Studio Bros 引用元 • バーチャルプロダクション フィールドガイド 第１巻 https://www.unrealengine.com/ja/blog/virtual-production-field-guide-a-new-resource-for-filmmakers • バーチャルプロダクション フィールドガイド 第２巻 https://www.unrealengine.com/ja/blog/volume-2-of-the-virtual-production-field-guide-now-available

• https://www.unrealengine.com/ja/blog/virtual-production-field-guide-a-new-resource-for-filmmakers
• https://www.unrealengine.com/ja/blog/volume-2-of-the-virtual-production-field-guide-now-available

LEDスタジオ事業を ロケットスタートする方法 株式会社スタジオブロス 代表取締役 金子元隆

ICVFXで本当に必要な構成要素 ■ ■ ■ ■ ■ ■ ■ ■ ■ Unreal Engine 5.2 Unreal Engine 5.2動作環境 スタジオ（必要なら防音設備） カメラ、レンズと周辺機器 ＣＧ表示デバイスと周辺機器 撮影スタッフ ＩＣＶＦＸコンテンツ制作スタッフ ＵＥオペレーションスタッフ LEDボリュームオペレーションスタッフ

ICVFXを実現する技術系統図 ICVFX Unreal Engine Perforce Virtual ロケハン VR Realtime用 背景 Lidar GIS データ Quixel Stage エンジニアリング デジタル ヒューマン DCC Metahumans Control Rig Facial Capture カメラ アプリケーション 従来の LiveLink アニメーション Performance Capture モーキャプ スーツ 従来の リギング トラッキング LiveLink Optitrack ネットワーク LEDウォール I/O Kona / BM nDisplay Switchboard Web Remote 合成 Composure 照明 DMX

LEDボリューム構成に関する検討事項 フラット構成 - ライティングしにくい - 強すぎるバックライト - 限られた環境反射 カーブしたコンフィギュレーション -純粋な円筒形で起きる音響の問題 -「U」字や楕円形のボリュームが最適 -360をカバーするためのプラグ壁

ボリュームに関する考慮事項 – 場所 - クリアスパン - 天井高 - 天井耐荷重 - コンクリートの床 - 電力 - 防音 - エアコン - オフィスと倉庫 - 美術セット作業場 - 駐車場

ハードウェア - ステージ Large Medium Small 幅15ｍ x 奥行15m x 高さ6m 天井+2つのプラグ壁 360度 幅15ｍ x 奥行7m x 高さ5m 天井+2ワイルドウォール 174度+5フラットコラム 幅5ｍ x 奥行2.5m x 高さ2.5m 天井なし+直角壁1つ+ワイルドウォール フラット

ハードウェア–ブレインバー/コントロール Control Video Assist 10Gbe KVM Switching Matrix コントロールカート Q テイク + MacPrp Thinklogical UE4 Prep & Control, User Interface ビデオアシスト/カメラ録画 キーボード、ビデオ、マウスを ルーティング

ハードウェア – コンピュータシステム コントロール レンダー GPU AMDワークステーション AMDワークステーション Nvidia A6000 AMDワークステーション コンテンツの準備、読み込み、 同期 1x GPU (Titan RTX 以上) UE コンテンツを壁面にレンダ リングする 2x GPU (A6000 推奨) UE コンテンツを壁面にレンダ リングする

ハードウェア – ビデオ機器 Timecode Sync & Genlock HDMIマトリックスルーター HDMI配信とモニタリング Evertz / Brainstorm Lightware MX2 Barco E2 SR-112 タイムコードジェネレータ エバーツ5701 ハウスタイムコード&ゲンロック ゼロレイテンシーHDMIビデオルーター メガピクセルLEDプロセッサにビデオを送信 複数のビデオ信号を結合して ステージ監視と検証

ハードウェア– LEDウォールテック LED プロセッサ 配布ノード LEDウォールパネル Brompton Tessera SX40 Brompton XD ROE Black Pearl 2 60Hz – 12ビットカラー 18Gbs HDMI / 12G SDI SX40 から 10Gb ビデオを IP 経由で LED パネルに 1Gb ビデオ経由で配信 2.8 mm ピクセルピッチ 1500ニット 160W / 80

LEDボリューム–配線図 ハードウェア構成 信号の流れ Tracking Data モーション キャプチャ ネットワーク Control + Carts MOTIVE Camera Timecode Genlock Render SDI 動画配信 Qtake プレイバック DP / HDMI ルーティング HDMI Out Timecode Out Genlock Out

LEDボリューム–配線図 Hardware Control of Brompton HDMI In Brompton SX40 Timecode In Genlock In 1Gb Ethernet 10Gb Fiber Out - Video over IP Brompton Distribution XD

ハードウェア–モーショントラッキング–プロレベル モーション キャプチャ ネットワーク カメラ/パフォーマンスキャプチャ Ethernet Router Optitrack NaturalPoint 複数の接続をルーティングする オプティトラックネットワーク 光学トラッキング/Motiv アクティブマーカー + IMU スプートニク+ IMU

ハードウェア - カメラ ハイエンド ミッドレンジ ローエンド Arri Alexa Mini LF BlackMagic Ursa Mini 4.6k Panasonic BGH1 フルフレームセンサー– 36.7mm x 25.54mm クロップファクター: 0.98x ローリングシャッター スーパー 35 センサー – 25.34mm x 14.25mm クロップファクター: 1.49x ローリングシャッター MFTセンサー – 17.30ミリメートルX 13ミリ メートル クロップファクター: 2x ローリングシャッター

ハードウェア–モーショントラッキング–エントリーレベル カメラトラッキング オブジェクトトラック Vive Base Station (2.0) Vive Tracker (3.0) Xsens / Rococo / P. Neuron 10m x 10mキャプチャエリア 4つのベースステーション付き Pair To LiveLinkXR UE Plugin VIVE Mars モーションキャプチャスーツ パフォーマンスキャプチャ

ハードウェア – TC/同期 – エントリー・レベル タイムコード ゲンロック Tentacle Sync BM, Ambient, or AIDA Genlock 3.5mmオーディオジャックを経由して TC BNCの無いカメラへタイムコードを渡す シンクジェネ マルチフォーマット コンバーター SDI to Genlock Converter ゲンロックBNCのないデバイスに SDIにゲンロックを重畳

ハードウェア – ディスプレイ&バックグラウンドの選択肢 短焦点プロジェクター 大画面ディスプレイ グリーンスクリーン Vava Chroma Samsung’s The Wall Various Solutions 超短焦点150インチレーザープロジェクター 100-220インチ大画面ディスプレイ 多様なサイズ+照明

LEDスタジオ事業を始める時に気をつけること ■ ■ ■ ■ ■ ■ ■ ■ ■ ■ 成功している事業者の話を聞いて、まねをする。 必要のないシステムや機材は購入しない。 LEDサイネージ業者へのボリューム発注は避ける。 LEDパネルやプロセッサー購入で冒険はしない。 ICVFX未経験のCG関係者のプランは役に立たない。 ICVFXの大きな話をする自称関係者には要注意。 UE経験限定のスタッフ募集は危険。 DMXを使わない/使えない照明部は避ける。 ICVFX未経験のフォトグラメトリ業者は避ける。 ICVFX未経験者のUE背景デザインには早めの納期。