【Unite Tokyo 2019】MeshSyncを有効活用したセルルックプリレンダーのワークフロー

1.

MeshSyncを有効活用したセルルックプリレンダーのワークフローポリゴンマジック株式会社大内勝憲続幸子中山渉宇田竜司

2.

会社概要ポリゴンマジック株式会社オフィス：六本木我々の部門では、主に遊技機の演出映像の企画・制作・液晶制御を行い、 VR・コンシューマゲーム等のマルチデバイス向けの映像制作も行っています。

3.

本講演のポイント Unityで映像制作にチャレンジ！

4.

なぜ？

5.

なぜ？将来を見据えたプリレンダーからリアルタイムへの移行

6.

なぜ？将来を見据えたプリレンダーからリアルタイムへの移行プリレンダー中心の競合他社との差別化

7.

アジェンダ 1. MeshSyncを活用したワークフローパイプラインマネージャー続幸子______ 2. エンジニアに求められた役割とワークフロー整備プログラマー宇田竜司______ 3. ２Dアニメ表現を実現する為のモデル制作モデリングスーパーバイザー中山渉______

8.

本講演とのコラボコンテンツのご紹介 ■運営会社：株式会社 ICT ■チャンネル名：ヨメミ V-AR チューバー -萌実■YouTube登録者数：41.2万 ■登場キャラクター：ヨメミ萌実エトラなど他 ■概要： YouTubeをメインプラットフォームとして活動。自社のオリジナルキャラクターを使用し、総再生数4千7百万、1本あたりの平均再生数25万再生となるチャンネルを運用しております。 ■キャラクターコンセプトあなた（視聴者）のそばにいる自分だけのカノジョ・嫁を、キャラクターの性格として取り入れ、将来的には、あなたの家にいる、カスタマイズを行うことができる、カノジョ・嫁をゴールとして活動をしております。

9.

2019年秋「ヨメミチャンネル」にてショートアニメ配信開始 ■アニメーション制作 ■技術提供 ■製作

10.

MeshSyncを活用したワークフローポリゴンマジック株式会社続幸子

11.

アジェンダ 1. 経緯 2. MeshSyncとは… 3. ワークフロー紹介 4. 工夫した点とまとめ

12.

経緯

13.

ミッション経緯  遊技機の映像制作  セルルックである

14.

大きな方針  Unityをレンダラーとするリアルタイムレンダラーでの開発強化のため  デザイナーのUnity習熟度の底上げ  既存のツールをできるだけ活用する全員Unity初級程度実践で鍛えるエンジニアの参加は１～２名経緯

15.

技術的な方針     セルシェーダーユニティちゃんトゥーンシェーダー 2.0をカスタムアウトライン自作コンポジット AfterEffectsからUnityへ移行レンダリング Game Viewをフレーム指定通りにキャプチャ経緯

16.

開発環境  Unity2018.2.9f1（開発開始2018/9)  Timeline使用  svnでデータ管理  Maya2017 Update5 経緯

17.

課題 ModelもAnimationもセルルックを確認しながら作業できた方が圧倒的に便利経緯

18.

…MeshSyncどうだろう…

19.

MeshSyncとは…

20.

MeshSync DCC ToolとUnityをリアルタイムに同期させながらモデリングが可能 DCC Toolで作ったアニメーションをUnityに転送して確認も可能 https://github.com/unity3d-jp/MeshSync サポート： Maya,MayaLT,3dsMax,Blender, メタセコイア,Xismo

https://github.com/unity3d-jp/MeshSync

21.

MeshSync 20180918/1130版このツールを使えば容易な確認は解決？容易な出力もできる？

22.

MeshSync UTJ社と契約してGitHubで公開しながら MeshSyncの拡張開発をしてもらうことに「20190423リリース版」まで契約

23.

モデリングのSync Mesh UV テクスチャ joint 法線カメラライトブレンドシェイプなど転送可

24.

アニメーションのSync Animation Clip生成オブジェクトのRoot階層に Animation Controllerが自動で付く Animation Clipは再出力で.metaのGUID を保持したまま上書き

25.

ワークフロー紹介

26.

全体図 MAYA モデリングワークフロー紹介 MS Unity モデリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジット Unity レンダリング

27.

MAYA モデリング MS Unity モデリングスキニングリギング MS Unity オブジェクト制作 MAYA 3Dレイアウト 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジット Unity レンダリング

28.

オブジェクト制作 MAYA モデリングワークフロー紹介 MeshSync Unity モデリング MAYA スキニングリギングアニメーション .fbx MeshSyncはモデリングの確認用のみに活用 Unity ライティング

29.

オブジェクト制作 MAYA モデリング MeshSync ワークフロー紹介 Unity モデリングレンダリング AutoSync persp cam uv mesh Material(仮) 同名同期 light material turn table outline ※Unityで用意・作成するもの

30.

カット制作 MAYA モデリング MS Unity モデリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジット Unity レンダリング

31.

カット制作 MAYA ワークフロー紹介 MeshSync 3Dレイアウト Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーションアニメーション工程 Unity MeshSyncは Look確認とライティングエフェクトレンダリングアニメーション出力コンポジットツールとして活用

32.

アニメーション制作 MAYA モデリング MS Unity モデリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジット Unity レンダリング

33.

アニメーション制作 MAYA 3Dレイアウト MeshSync ワークフロー紹介 Unity Unity 3Dレイアウトレンダリングプライマリアニメーションプライマリアニメーションレンダリングセカンダリアニメーションセカンダリアニメーションレンダリング

34.

アニメーション制作 MAYA 3Dレイアウト MeshSync ワークフロー紹介 Unity Unity 3Dレイアウトレンダリングプライマリアニメーションプライマリアニメーションレンダリングセカンダリアニメーションセカンダリアニメーションレンダリング

35.

アニメーション制作 MAYA 3Dレイアウトプライマリアニメーションセカンダリアニメーション MeshSync ワークフロー紹介 Unity 3Dレイアウト Unity レンダリング幾度の変更にもプライマリレンダリング耐えられるフローアニメーションであることが大事セカンダリアニメーションレンダリング

36.

アニメーションのフローのポイントワークフロー紹介 ◆Animation clipだけを後工程に引き継ぐ Animation clipは一度生成したら削除禁止以降は更新を繰り返すのみ ◆Unityシーンはアニメーターの自由に何度作り直しも可後工程に不必要なデータ含み有

37.

アニメーション制作 MAYA フェイシャルアニメーション MeshSync ワークフロー紹介フェイシャルアニメーション Unity 基本的なアニメーションのSyncはmayaで作ってUnityに ManualSyncで転送するというやり方になりますですが今回セルルックのフェイシャル表現ではAutoSync機能も併用しました全体のアニメーションはManualでSyncして、表情のキメのフレームでAutoSyncさせて細かい調整をします

38.

アニメーション制作 MAYA フェイシャルアニメーション MeshSync ワークフロー紹介フェイシャルアニメーション Unity フェイシャルはブレンドシェイプではなくジョイントを沢山仕込んで２Ｄアニメに見えるようアニメーターが作りこむことにしましたそのためジョイントを極端に引っ張ってポリゴンがつれて変なアウトラインが見えたり、変な影ができたりしないようにアニメーターはルックを確認しながら繊細な作業をしなければなりません AutoSyncの機能が大変有効でした

39.

アニメーション制作 MAYA アニメーション MeshSync ワークフロー紹介 Unity Animation clip Look確認 Timelineで部分再生コマ確認

40.

ライティング以降 MAYA モデリング MS Unity モデリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジット Unity レンダリング

41.

ライティング以降 MAYA MeshSync 3Dレイアウトプライマリアニメーションセカンダリアニメーションワークフロー紹介 Unity 3Dレイアウトプライマリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジットレンダリングプライマリアニメーションが終わるとライティング作業が始められる

42.

ライティング以降 MAYA MeshSync 3Dレイアウトプライマリアニメーションセカンダリアニメーション Unity 3Dレイアウトプライマリアニメーションセカンダリアニメーションワークフロー紹介 Animation clip .fbx使用 Unity ライティングエフェクトコンポジットレンダリングシーン再構築アニメーション工程から引き継ぐのは Animation clipのみ Timelineも再構築

43.

ライティング用シーン再構築の理由  不要なデータを除去  データが軽い  間違いや不具合も原因を見つけやすいワークフロー紹介

44.

ライティング以降 MAYA MeshSync 3Dレイアウト Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーションワークフロー紹介 Animation clip .fbx使用 Unity ライティングエフェクトコンポジットレンダリングエフェクト担当がライティングとコンポジットも担当できたのでこの工程は分けず

45.

工夫した点

46.

工夫した点  ワークフロー紹介アニメーション制作時Mayaではオブジェクトの構造を編集しない（コンストレインで代用） FBX出力したModelと構造が変わってしまうのでライティングシーンでアニメーションとモデルが生き別れてしまう ×

47.

工夫した点  ワークフロー紹介 MeshSyncモデルとFBXモデルのrevisionの整合性の確認を容易に Mayaモデルのrevision管理番号をFBXに持たせて Unityで確認できるようにした MAYA Unity

48.

まとめ ◆「Mayaから仮ルックで確認する」工程を削除できた早い段階から絵の完成形が見えた ◆ Unity実装専門部隊を設けずに済んだこれまでのプリレンダー制作の布陣のままリアルタイムエンジン制作の経験値を上げられた

49.

エンジニアに求められた役割とワークフロー整備ポリゴンマジック株式会社宇田竜司

50.

エンジニア2名しか… その他デザイナー ⇒ほぼ全員Unity初級者…

51.

エンジニア2名しか… 皆様ならその他デザイナーどうしますか？ ⇒ほぼ全員Unity初級者…

52.

アジェンダ 1. 開発したツールの紹介 ◆ ワークフロー全体に関わるツール ◆ エフェクト・コンポジットツール 2. 開発を通して 3. まとめ

53.

ワークフロー全体に関わるツール MAYA モデリング MS Unity モデリングレンダリングレンダリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジットレンダリング

54.

ワークフロー全体に関わるツール MAYA モデリング MS Unity モデリングレンダリングレンダリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジットレンダリング

55.

レンダリングワークフロー全体に関わるツールデザイナーからの要望 ①MayaとのフレームずれはNG ②出力の設定に自由を効かせたい ③レンダーキューが欲しい etc.

56.

レンダリング TimelineRecorder 解決項目： ①フレームずれはNG ②出力の設定を自由を効かせたいワークフロー全体に関わるツール RenderQueue 解決項目： ③レンダーキューが欲しい

57.

「TimelineRecorder」ワークフロー全体に関わるツールシーンの情報から初期設定を自動的に指定レンダー画像の連番の開始番号も指定可能出力したいカメラを指定

58.

「RenderQueue」レンダーキュー ①レンダリングしたいシーンを登録するワークフロー全体に関わるツール ②登録した情報から連続的に再生させるウィンドウ

59.

ワークフロー全体に関わるツール MAYA モデリング MS Unity モデリングレンダリングレンダリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジットレンダリング

60.

ワークフロー全体に関わるツール MAYA モデリング MS Unity モデリングレンダリングレンダリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジットレンダリング

61.

ワンポチ系ワークフロー全体に関わるツールレンダーキューシーン作成 Timeline作成様々なアセットの複製メリット • 作業の効率化 • 人為的なミスの防止 • 命名規則違反の発見 UI表示フォルダの作成 etc. 反復作業の自動化

62.

ワンポチ系レンダーキュー例ワークフロー全体に関わるツール

63.

エフェクト・コンポジットツール MAYA モデリング MS Unity モデリングレンダリングレンダリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジットレンダリング

64.

エフェクト・コンポジットツール MAYA モデリング MS Unity モデリングレンダリングレンダリングスキニングリギング MAYA 3Dレイアウト MS Unity 3Dレイアウトプライマリアニメーションプライマリアニメーションセカンダリアニメーションセカンダリアニメーション Unity ライティングエフェクトコンポジットレンダリング

65.

複数カメラの合成エフェクト・コンポジットツールカメラを複数用意してそれらを合成してレンダリングする機能 <要望> カメラを分けて要素ごとに別々に絵作りをしたい！

66.

複数カメラの合成エフェクト・コンポジットツールカメラ3 カメラ2 カメラ1

67.

複数カメラの合成エフェクト・コンポジットツールレンダリング結果

68.

マテリアルトラックレンダーキューエフェクト・コンポジットツールマテリアルを差し替えるためのカスタムトラック差し替え対象のマテリアルをアサイン

69.

マテリアルトラックレンダーキューさらに、同じパラメータのマテリアルであればブレンドも可能！ブレンド前ブレンド中エフェクト・コンポジットツール UnityChanToonShaderのようなパラメータの多いマテリアルでも差し替えやブレンドも可能に！ブレンド後

70.

グラデーションエフェクト・コンポジットツール PhotoShopなどの画像編集ツールとの行き来を無くす！ Unity Photoshop

71.

グラデーションエフェクト・コンポジットツール Unityでカラーを指定して画面に反映有無

72.

調整レイヤーエフェクト・コンポジットツール AfterEffectsの機能であるレイヤー毎に色味の調整できる機能追加 AfterEffects Unity

73.

調整レイヤーエフェクト・コンポジットツール全身左足のみ(複製) 調整レイヤー専用マテリアル付き

74.

調整レイヤー適応前エフェクト・コンポジットツール適応後

75.

開発を通して ◆デザイナーツールに近い機能を実装する事で過去Unityに触れた事のないデザイナーでもラーニングコストの軽減が見込める ◆レンダリングへの懸念を一括で解決出来る・エンジニアの拡張機能によって出力後の操作を解決・自動化が容易になる

76.

開発を通して ◆アニメーター班からコンポ班へデータを渡すなど、他チームに渡すデータの正確さが増す ◆データの作成、複製、移動などの動作をツール化する事でバージョン管理も気兼ねなく出来る metaデータへの意識を外せると効果絶大！

77.

まとめ Unityとデザインツールの距離を近づける事 Unityのオペレーションを簡略化する事

78.

2Dアニメ表現を実現する為のモデル制作ポリゴンマジック株式会社中山渉

79.

ミッション作画に見えるようにする

80.

どうすれば3DCG映像を作画に見せることが出来るでしょうか？

81.

むずかしい。

82.

考察をしてみました

83.

作画に見えない要因 ◆ モデルの形状、質感、ポーズなどに少しでも 3Dっぽさが残っていると大きな違和感となる ◆ モデルの元の形を大きく逸脱した変形が難しく、作画特有の誇張表現に限界がある ◆ 1枚1枚が意図して描かれている作画に対し、３DCGは意図にないものも混在してしまう

84.

85.

アジェンダ 1. 形状3ヶ条 2. 質感2ヶ条 3. 特殊な形状表現 4. まとめ

86.

形状3ヶ条 ① シルエットの追求 ② 作画と3Dの整合性 ③ アニメ的誇張の実現

87.

シルエットの追求形状3ヶ条改善違和感が分かりやすい人間の脳には物の輪郭が一番印象に残る特にセルルックキャラはシルエット超大事

88.

シルエットの追求形状3ヶ条ゆがみ回避 MAYAの焦点距離35 MAYAの焦点距離160 カメラの画角は望遠に設定をしてセルルックの特徴を損ねないルックを実現

89.

作画と3Dの整合性斜め顔成立がポイント・斜め顔の頬の幅・目の造形の角度・口の引っ込み具合・頬のシルエット etc. 表示頻度の高い斜め顔の成立が鍵。各部位での要点を満たす事で、破綻の少ないセルルック仕様モデルとなる形状3ヶ条

90.

アニメ的誇張の実現別角度から見ると形状3ヶ条別角度から見るとアニメ特有の誇張表現の実現がより作画らしさを出すためのキーポイント

91.

質感2ヶ条 ① 理想のアウトライン ② 影のコントロール

92.

理想のアウトライン質感2ヶ条理想的なアウトラインの追求

93.

理想のアウトライン質感2ヶ条 UnityChanToonShaderのアウトラインを採用しなかった理由 ◆ セルルックでは主流のPSOFT社Pencil+for3dsMaxと比べるとシャープで綺麗な線が出なかった ◆ 法線方向への押し出しでの描画なので、線がずれる ◆出て欲しくないところにラインが出たり、出て欲しいところにラインが出なかったり、ライン描画のコントロールが難しかった為

94.

理想のアウトラインアウトラインをきれいに出す為に ◆ バッファを２倍サイズで処理 ◆ アルファを持たせてブレンド ◆ アンチエイリアス処理アウトライン描画方法 ◆ 深度差 ◆ 法線 ◆ マテリアル境界 ◆ 描画テクスチャ自作によって、理想のアウトラインに近づき、描画のコントロールも容易に質感2ヶ条

95.

影のコントロール質感2ヶ条影表現の二つのアプローチ

96.

影のコントロール質感2ヶ条法線の調整 ◆ ライトに依存する落ち影をコントロール単純な形状の法線を転写する事でセルルック特有のシンプルな落ち影を表現 ShadingGradeMap ◆ 影の形を指定する箇所に使用マップの濃淡で影の出やすさや 1影2影の表示度合いもコントロール

97.

調整前調整後法線改善 ShadingGradeMap追加

98.

特殊な形状表現 ① セルルックでの毛の表現

99.

セルルックでの毛の表現調整前これまでに紹介した全ての手法を総合的に用いる事で毛の表現を実現特殊な形状表現調整後