バーチャルライブ制作におけるTips＆UEFNでバーチャルライブするには【UEなんでも勉強会 - バーチャルライブ編 - vol.1】

バーチャルライブ制作におけるTips ＆ UEFNでバーチャルライブするには 2023.07.25

株式会社Leon Gameworks 遠藤 俊太

アジェンダ • DMXの概要 • DMXプラグインの使用方法 • トラブルシューティング • UEFNでバーチャルライブするには

ライブ制作時は UE5.1 でしたが、 本スライドはスライド作成時の最新バージョンである UE5.2 を元に作成しています。

DMXの概要

UEではDMXプラグインを使って現実と同じようにDMX信号で 照明、レーザー、スパークラーなどを制御します。

DMX（DMX512）とは 照明の調光や調色など、機器の制御を行うための通信規格。 1つのケーブルで512チャンネルのデジタル信号を送受信することができ、 1チャンネルあたり256段階の制御が行えます。

１つの照明につき複数のチャンネルを使用 １１チャンネル使用 １１チャンネル使用 ８チャンネル使用 １～１１ １２～２２ ２３～３０ 1 Color 1 Color 1 Red 2 Shutter 2 Shutter 2 Green 3 Dimmer 3 Dimmer 3 Blue 4 Gobo 4 Gobo 4 Pan 5 Frost 5 Frost 5 Tilt 6 Focus 6 Focus 6 Dimmer 7, 8 Pan 7, 8 Pan 7 Shutter 9, 10 Tilt 9, 10 Tilt 8 Zoom 11 Zoom 11 Zoom

チャンネルの設定 DMX Library アセットでチャンネルの設定をします。 コンテンツブラウザ > 右クリック > DMX > DMX Library からアセットを作成。

チャンネルの設定 Fixture Types タブで受信側の各機器（照明等）がどんなチャンネルを もっているか設定します。

チャンネルの設定 １つの項目につき、8～24bit（1～3チャンネル） まで使用できます。 bit数が増えるほど扱える値が増えます。 8bit ： 0～255 16bit ： 0～65,535 24bit ： 0～16,777,215

チャンネルの設定 Fixture Patch タブで機器の追加やどのチャンネルから割り当てるか設定。

どの Universe（512チャンネル分の領域）の、どのチャンネルから割り当てるか。

実際に動かす DMXコントローラー（卓）から信号を送ることで照明等の機器を操作できます が、DMXコントローラーが手元に無くてもDMXプラグインの機能でエディター 内で信号を送受信することができます。 DMXコントローラー DMXプラグイン

Control Console DMXツールから Control Console ウィンドウを表示できます。 UE5.2で機能が一新され、かなり使いやすくなりました。

Control Console 右側の機器リストから [+Add], [+Row] で操作する機器を追加できます。

Control Console 左上のプルダウンメニューから コンソールの設定をアセットとして 保存できます。

Channel Monitor こちらもDMXツールに含まれています。 全チャンネルの値を一目で確認できるので非常に便利です。

こんな感じで動かせる

DMXの学習リソース DMXテンプレートやサンプルプロジェクトを実際に見てみるのが参考になります。 公式ドキュメントが豊富。 こちらのチュートリアルも参考になります。

• https://docs.unrealengine.com/4.27/ja/WorkingWithMedia/CommunicatingWithMediaComponents/DMX/
• https://dev.epicgames.com/community/learning/tutorials/1xRK/unreal-engine-dmx-vw-mvr-5-2

余談ですが、 DMXプラグインではDMX信号の送信も可能なので、 現実の照明機器をPCに繋げて信号を送ることも可能です。

バーチャルライブ制作時に起こった問題

TSRの残像問題 UE5デフォルトのアンチエイリアス手法のTSR（Temporal Super Resolution）。 TSRは現在のピクセルの値を決める際に速度ベクトルから過去のどのピクセ ルを読み込むべきか推察する。 しかし、その速度ベクトルが正しく生成されず、不自然な残像が出てしまう 場合がある。

TSRの残像問題 この残像は至る所で出るのですが、バーチャルライブだとゴボで出てしまう のでライブのクオリティに大きく影響してしまう。 ゴボ（Gobo）とは、 照明に被せる絵柄をのせた板。 文字や模様を投影。 UEでいうところの Light Function。

TSRの残像問題 UE5.2で改善はされたものの、まだ残像は出る。（動画はUE5.2）

TSRの残像問題 「r.TSR.ShadingRejection.Flickering 0」 コマンドで抑制することが可能。 但し、完全に解決する訳ではなく、遠方のオブジェクトのモアレが発生したり、 思わぬところでジャギーが出る可能性があります。 Epic Games Japan 篠山さんの記事 TSRによりTextureのスクロールで残像が出る際の簡易的な対処法(不透明マテリアル) TSR時のWPOによる頂点移動の注意点(不透明オブジェクト編) SpeedTreeで作成した木がTSRによりGhostingを引き起こしてしまう場合の対処法

• https://dev.epicgames.com/community/learning/tutorials/zr8q/unreal-engine-tsr-texture
• https://dev.epicgames.com/community/learning/tutorials/9G0z/unreal-engine-tsr-wpo
• https://dev.epicgames.com/community/learning/tutorials/vrkW/unreal-engine-speedtree-tsr-ghosting

UEFNでバーチャルライブするには

現在のUEFN（25.11）でバーチャルライブするには エディター上でできる機能、Verse共に現状かなり制限が多いため、 泥臭い作業が必要... 現状できないこと： • ブループリントでロジックを組む • UEプラグインの活用（もちろんDMXプラグインも使えません） • Fortnite由来の仕組みを変更

現時点ではVerseよりもシーケンサーが有用！ • ライトの制御 • アニメーションの再生 • マテリアルパラメータコレクションの制御

アクターの移動には CameraRig Rail や Zip Line も便利 Epic Games Japan 塩谷さんの記事 指定したルートに沿って物を動かす

• https://dev.epicgames.com/community/learning/tutorials/wawz/fortnite-4b8529

Verseでも動かすことが可能 動かせるクラスは限られている。 • creative_device • TeleportTo • creative_prop • TeleportTo • MoveTo これらのアクターにアタッチすることで他のオブジェクトも擬似的に動かすことが可能。

Verseでも動かすことが可能 creative_prop は Animation Controller を活用することでより柔軟に動かせる。 MoveTo関数ではリニアな移動ですが、Animation Controllerでは補間方法を指定可能。 アクターを動かしたい場合はシーケンサーかVerse。 よりインタラクティブな仕組みで動かしたい場合はVerseで動かす必要がある。

ライトはこれを使おう ムービングライトが用意されている。他にもパーティクルなども豊富。 //Fortnite/Galleries/ライト/カスタムライトギャラリー/CustomizableLight Concert Spotlight x1

UE5からアセットの移行 メッシュやマテリアル、テクスチャ等のアセットはUE5から移行が可能です。 DMXプラグインは移行できませんが、プラグイン内のアセットは移行可能。

UEFNでのバーチャルライブの魅力 各プレイヤーが自由な角度、スタイルで視聴できる。 空中で、水中で、グラインドしながら。

UEFNはまだまだ発展途上だと思うので、 今後のアップデートでできることが 増えていくのを期待したいです。

ご清聴ありがとうございました。