MetaHumanサンプル解体新書 【UNREAL FEST EXTREME 2021 SUMMER】

MetaHumanサンプル解体新書 Epic Games Japan 斎藤 修 Technical Artist Developper Relations 岡田 和也 Software Engineer Developer Relations

自己紹介 斎藤 修 Epic Games Japan Technical Artist Developer Relations ライセンシーサポートしています UE4とHoudiniが好物です https://twitter.com/shiba_zushi 岡田 和也 Epic Games Japan Software Engineer Developer Relations ライセンシーサポートしています UE4と2次元が好物です https://twitter.com/pafuhana1213

アジェンダ Osamu 1. MetaHumanとは？ 2. MetaHuman Creator 3. UE4でのMetaHumanの使い方 4. MetaHumanのアセット構成 5. Meta Humans’s Model 解説・Tips Kaz 6. MetaHumanのアニメーション周りにおける注目ポイント 7. Control Rigについて 8. Meta Humanで使われているControl Rigの紹介 9. Meta Humans’s ControlRig Tips

MetaHumanとは？

MetaHumanとは？ https://youtu.be/6mAF5dWZXcI

MetaHumanとは？ MetaHumanが備える各種機能です

MetaHuman Creator https://youtu.be/OeUBATSJSr0

MetaHuman Creator https://www.unrealengine.com/ja/blog/early-access-to-metahuman-creator-is-now-available

MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator アーリーアクセスへの申請方法はとても簡単です

MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator アーリーアクセスへの申請方法はとても簡単です

MetaHuman Creator https://www.unrealengine.com/ja/metahuman-creator 申請が通ったら 起動ボタンを押すだけ！ →申請後、承認待たずにすぐ使えるようになりました！

MetaHuman Creator ブラウザ上でMetaHuman Creatorが起動します

MetaHuman Creator 起動画面です ノートPCでもサクサク動きます

MetaHuman Creator https://youtu.be/ys3JivS-iXU

MetaHuman Creator 非常に多彩なモデル調整が可能です

MetaHuman Creator https://docs.metahuman.unrealengine.com/ja/ 詳しい使用方法は是非ドキュメントをご参照下さい

UE4でのMetaHumanの使い方 MetaHumanをUE4に持ってくるには Quixel Bridgeを使用します

UE4でのMetaHumanの使い方 https://quixel.com/bridge Quixel Bridgeは無料でダウンロードできます

UE4でのMetaHumanの使い方 Quixel Bridgeを起動して MetaHumansタブからダウンロード可能です

UE4でのMetaHumanの使い方 50を超えるサンプルも無料でダウンロード可能です

UE4でのMetaHumanの使い方 UE4へのエクスポートも非常に簡単です プラグインを入れて エクスポートボタンを押すだけ！

UE4でのMetaHumanの使い方 UE4インポート時 上記のようなメッセージが出ますが これらはMetaHumanに必要な設定が足りていないというメッセージです とりあえず全て有効化して頂けたら大丈夫です

UE4でのMetaHumanの使い方 https://docs.metahuman.unrealengine.com/ja/MetahumansUnrealEngine/RequirementsAndConfigSettings/ メッセージや各設定の詳細は ぜひドキュメントをご確認頂けましたら

UE4でのMetaHumanの使い方 インポート後はMetaHumanのブループリントをレベル上にすぐ配置可能です シェーダーコンパイルを少し待つ必要があります

UE4でのMetaHumanの使い方 ブループリントは各MetaHumanフォルダ直下にあります

UE4でのMetaHumanの使い方 https://www.unrealengine.com/marketplace/ja/learn/metahumans Quixel Bridgeとかエクスポートとかめんどく……という方は サンプルプロジェクトもありますのでこちらをどうぞ

UE4でのMetaHumanの使い方 また MetaHumanはMAYAにもエクスポート可能です

UE4でのMetaHumanの使い方 https://docs.metahuman.unrealengine.com/ja/HowTos/ExportingMetaHumans/ExportingToMaya/ MAYAへのエクスポート詳細に関しては こちらもぜひドキュメントをご確認頂けましたら

MetaHumanのアセット構成 では UE4におけるMetaHumanのアセット構成をご説明致します

MetaHumanのアセット構成 8K設定でダウンロードした場合 約2GBほどのアセットがダウンロードされます

MetaHumanのアセット構成 MetaHumanブループリントの構成はこのような感じです

MetaHumanのアセット構成 見慣れないコンポーネントがありますね

MetaHumanのアセット構成 こちらは MetaHumanのLODを一括管理するLODSyncコンポーネントです

MetaHumanのアセット構成 MetaHumanにはデフォルトで8段階のLODがあります これらをLODSyncコンポーネントが適切に管理しています

MetaHumanのアセット構成 多数のLODを適切に管理することで 各プラットフォームごとにスケーラビリティ対応することが可能です

MetaHumanのアセット構成 各LODの頂点数や骨数はこんな感じです （モデルごとに若干異なります）

MetaHumanのアセット構成 髪の毛も適切にLOD設定されています

MetaHumanのアセット構成 「Strands」「Card」「Mesh」の3種類がありますね

MetaHumanのアセット構成 髪はそれぞれクォリティに合わせて 描画モデル自体を切り替える事が可能です

MetaHumanのアセット構成 LODの設定はこちらです Groomアセットから設定できます

MetaHumanのアセット構成 https://docs.unrealengine.com/ja/WorkingWithContent/Hair/GroomAssetEditor/index.html 髪のLODに関しては こちらもドキュメントにて詳しく説明されています

MetaHumanのアセット構成 https://docs.metahuman.unrealengine.com/ja/MetahumansUnrealEngine/MetaHumansLODs/ LODSyncコンポーネントの詳細に関しても是非ドキュメントをご参照下さい

Meta Humans’s Model 解説・Tips さて ではMetaHumanの各モデルを見ていきましょう

Meta Humans’s Model 解説・Tips Body周りの構成について

Meta Humans’s Model 解説・Tips Body周りは比較的シンプルで マテリアルもそれぞれ1種ずつとなっております

Meta Humans’s Model 解説・Tips LODも顔が8段階あるのに対して Bodyは4段階になっています

Meta Humans’s Model 解説・Tips マテリアルに関してはLODがなく インストラクションやテクスチャサンプルが 比較的多い点は気をつけておいても良いかもしれません

Meta Humans’s Model 解説・Tips 物理アセットなどもきちんと作成されております

Meta Humans’s Model 解説・Tips 次に 毛について

Meta Humans’s Model 解説・Tips 髪の毛を含め 毛髪類はすべて顔にバインディングされています

Meta Humans’s Model 解説・Tips Hair Eyebrows Fuzz Eyelashes Mustache Beard 毛は6種類あり ヒゲなどがない場合はGroomアセットは作成されません

Meta Humans’s Model 解説・Tips また 毛のLODはそれぞれ自動で作成されますが

Meta Humans’s Model 解説・Tips LOD0 LOD2 LOD4 LOD7 現在いくつかの形状に関しては LOD作成がされないものもありますので ご注意頂けたらと思います

Meta Humans’s Model 解説・Tips 最後に Faceモデルに関して

Meta Humans’s Model 解説・Tips Faceは最も複雑な構成となっております

Meta Humans’s Model 解説・Tips 数多のモーフターゲットがあり

Meta Humans’s Model 解説・Tips マテリアルも多数あります

Meta Humans’s Model 解説・Tips 各エレメントは様々なパーツで分かれています

Meta Humans’s Model 解説・Tips https://docs.unrealengine.com/ja/Resources/Showcases/DigitalHumans/index.html モデル構成の詳細に関しては デジタルヒューマンのドキュメントがご参考頂けます

Meta Humans’s Model 解説・Tips 例えば 眼球のオクルージョンテクニックなどは デジタルヒューマンと同様の手法が使用されております

Meta Humans’s Model 解説・Tips また 重要な肌マテリアル

Meta Humans’s Model 解説・Tips 容赦ない複雑さになっております

Meta Humans’s Model 解説・Tips とはいえ コメントごとに処理は整理されており

Meta Humans’s Model 解説・Tips ベースカラー とはいえ コメントごとに処理は整理されており

Meta Humans’s Model 解説・Tips ベースカラー スペキュラ ラフネス とはいえ コメントごとに処理は整理されており

Meta Humans’s Model 解説・Tips ベースカラー スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 ベイクされた 毛髪類 スペキュラ ラフネス ノーマル とはいえ コメントごとに処理は整理されており

Meta Humans’s Model 解説・Tips 肌の赤みやそばかす メイクなど ベースカラー 毛穴 ベイクされた 毛髪類 スペキュラ ラフネス ノーマル おおまかにはこのような処理になっております

Meta Humans’s Model 解説・Tips また シェーディングモデルにはデジタルヒューマンと同じく Subsurface Profileが使用されております

Meta Humans’s Model 解説・Tips 適切なFeature Level Switchも要所に設定されており

Meta Humans’s Model 解説・Tips ベースカラーとノーマルは フェイシャルアニメーションに合わせて 4枚のテクスチャが顔マップに応じてブレンドされます

Meta Humans’s Model 解説・Tips また その高機能さからインストラクションやテクスチャサンプル数も多いので LOD0のご使用にはお気をつけ下さい

おかずパート はここから

ここからは MetaHumanのアニメーション周りの話

アジェンダ 1. アニメーション周りにおける注目ポイント 2. Control Rigについて 3. MetaHumanで使われている Control Rigの紹介 4. MetaHumans’s ControlRig Tips

アニメーション周りにおける注目ポイント Control Rigを使った アニメーション作成・補正 フェイシャルキャプチャ LiveLinkFace との連携

フェイシャルキャプチャ、めちゃかんたん！

もちろんモーションキャプチャも！ Matt さん( @cinedatabase ) Unreal MetaHumans | Perception Neuron

今回メインでお話するのは Control Rigを使った アニメーション作成・補正 について！

今回解説しない部分に関する資料はこちら フェイシャルキャプチャ ● ● ● 公式ドキュメント「iPhone X からフェイシャル アニメーションを記録する」 【UE4】Live Link Face for Unreal Engineを使って、あなたのキャラクタの表情を動 かす方法 【Meta Humans×Live Link】デジタルヒューマンをフェイシャルキャプチャで動かす by イワケンさん @iwaken71 モーションキャプチャ ● ● 公式ドキュメント「MetaHumans」 公式ドキュメント「Live Link プラグイン」

今回解説しない部分に関する資料はこちら 既存のアニメーションをMetaHumanで使う方法 ● 公式ドキュメント「アニメーションを MetaHuman にリターゲティングする」 ● グレイマンのようにMetaHumanを動かす方法 by 広務(Hiromu) さん @hi_rom_ MetaHuman入門 by 鹿野護 さん @zuga ●

Control Rigって何？

説明しよう！Control Rigとは！ アニメーションにおいて重要な リグ を UE4上で作成・制御できてしまう機能！しかも、ノードベースで！ 【連載】第2回：映像制作における UE4のためのキャラクターデータ構成（リギング編）

アニメーションの作成・編集 UE4上でのアニメーション作成 既存アニメーションの修正・調整 Control Rig Mannequin サンプル Linked Animation Sequenceの解説記事

セカンダリ・プロシージャルアニメーション Control Rig の Sphere Traceを 使ったFoot IKデモ・解説 【UE4ぷちコン#15応募作品】 両手両足をかわるがわる動かすゲーム（解説記事） by 林田 リンデロンさん(@Rinderon)

Control Rigに関する解説資料（日本語 編） ● 猫でも分かる Control Rig UE4.25 版 ● ● UE4.25 -> 4.26 で追加・改善された機能について ● ● ● ● UE4.25から4.26で色々機能が改善・追加されたので ControlRigの基本的な機能・思想の理解用にどうぞ Loop機能, Inversion機能, Control Rigの流用 UE4.25 -> UE4.26 で変わった Control Rig メモ どの機能も必須レベルで重要なので是非確認を！ TECH ART ONLINEさんによる解説記事 ● ● https://tech-art.online/category /unreal-engine-4/control-rig/ TA視点からの解説、大変助かります！

Control Rigに関する解説資料（英語 編） ● Using Control Rig in Unreal Engine（日本語字幕付き） ● ● Animating MetaHumans with Control Rig in UE（日本語字幕付き） ● ● MetaHuman用のアニメーションを ControlRigを使って作成・編集する方法について。オススメ！ ユニークな振動目玉レンズを自作する（日本語字幕付き） ● ● ● Control Rigの基本的な使い方を実演ベースで。オススメ！ Unreal Online Learningに追加されたコース 変なお題ですが、どの説明も役に立つのでオススメ！ Animating with Control Rig in 4.26 ● UE4.26で追加された機能を中心に解説・デモ 他の資料を見た後の方が理解しやすいかも （あと、3時間超えです）

MetaHumanで使われている Control Rigの紹介

メインとなるControl Rig ボディ用 MetaHuman_ControlRig フェイシャル用 Face_ControlBoard_CtrlRig

あとはSequencer上で ControlRig用Trackに対してキーを打てば アニメーション作成・編集できます！ 具体的な編集方法に関しては 先程紹介した各資料をご確認ください

MetaHumans’s ControlRig Tips

Sequencer に ControlRig 用 Trackが 自動的に追加されるようになったよ！

UE4.26 からの新機能紹介 Skeletal Mesh に Default Animation Rigが追加されました！ Skeletal Mesh が Sequencerに追加されると ここで設定したControlRigが 自動的に追加されます

MetaHumanに付属する Editor Utility Widgetがべんり！

MH_CR_Picker

EditorUtilityWidget なので解析・改造可能！ Level Sequence を 外部から制御するツールを作る際に参考になるはず！ （注： Sequencer Scripting プラグインを有効にすること）

フェイシャル用Control Rigの あの表示（Gizmo）は Static Mesh！

コレのこと→

faceboard_2x

自作StaticMesh を Gizmoとして使う方法 複製したDefault Gizmo Library に登録して ControlRig にそれを登録すれば使用可能に

3D Text を使って 独自Gizmo を作る手も

Control Rig による Twist ボーンの補正処理

まずは効果から 補正処理：OFF 補正処理：ON

まずは効果から 補正処理：OFF 補正処理：ON

Twistボーンを調整して、ねじれを補正・回避 m_med_nrw_proc_CtrlRig

Control Rigによる 衣類の補正処理

補正処理：なし 補正処理：あり

首ボーンの回転量に応じて、各襟ボーンを補正 補助骨 的な制御 f_med_nrw_top_shirt_slm_CtrlRig

いろんな応用ができるはず！ スカートの突き抜け防止対策で補正を入れた後に とある物理プラグインを適用してみたテスト お借りしたモデル：『レナ・カクテル-Lena Cocktail-』

Post Process Anim BP で 使ってるのが肝！ 通常のAnim BPの後に実行されるAnimBP Skeletal Mesh アセット側で設定 f_med_nrw_top_shirt_slm

BP側で実装・設定されている処理・アセットに 手を入れなくても、衣類・パーツ固有の挙動を実現できる

特定の衣類の物理挙動も m_med_nrw_top_hoodie_Skeleton_AnimBP

・・・ ・・・ ・・・

・・・ ポーズをコピー！ ・・・ ・・・ 共通 アニメーション ＆ Anim BP

具体的な解説・実装方法についてはこちら ● 公式ドキュメント「モジュラー キャラクターで作業する」 ● 猫でも分かる UE4のAnimation Blueprintの運用について

Control Rigによる補正以外にもこんな工夫が！ アニメーション から 皮膚のマテリアルのパラメータを制御

Control Rigによる補正以外にもこんな工夫が！ ボーンの動きに基づいて Pose Asset のブレンド率を調整できる Pose Driver 機能を使うことで、より複雑かつ意図通りの動きを実現 f_med_nrw_animbp

アニメーション パートのまとめ MetaHumanにはアニメーション編集機能だけでなく 細かな補正処理が組み込まれてます また、アニメーション関連の処理・アセットの 流用・量産を考慮した構成になっています MetaHuman自体を使う予定がなくても 非常に参考になるので、 是非色々見て試してください！ モーションキャプチャ利用も是非！