VIH_Project_vol1

Virtual Influencer Hackathon @DiFun_vol.1 2023/12/10 presenter : himazin331

やりたかったこと AI技術を使って、静止画像からアニメーションを生成したい。 あわよくば生成したアニメーションをWebARで配信したい。 ・アニメーション生成 MagicAnimate ・WebAR Universal AR SDK for Unity : Powered by Zapper Copyright © 2023 himazin331. All Rights Reserved. 問題発生により 今回は詳しく触れません 2

アニメーション生成 ・MagicAnimate セグメンテーションマップを用いた姿勢制御 既存技術と比較したときの長所/短所 長所： 捻じれに強い 短所： 出力画像の体型はモーションシーケンスの体型に依存 触ってみた所感 写実向け？ アニメ調イラスト向けではなさそう？ Copyright © 2023 himazin331. All Rights Reserved. 3

アニメーション生成 ・モーションシーケンス作成 DensePoseを用いてセグメンテーションマップ作成 セグメンテーションマップ Copyright © 2023 himazin331. All Rights Reserved. 4

アニメーション生成 ・入力データ加工 提供データをモデル推論用に加工 使用サービス/ソフト ・背景削除 Clipping Magic ・超解像 KakudaiAC ・微修正 MediBang Paint 提供データ バストアップ画像 提供データ 全身画像 加工後データ Copyright © 2023 himazin331. All Rights Reserved. 5

アニメーション生成 ・補正処理 顔の生成破綻を補正 → FaceFusion MagicAnimate 出力データ 体型を補正 → CapCut (スマホアプリ) FaceFusion FaceFusion 出力データ 提供データ Copyright © 2023 himazin331. All Rights Reserved. 6

展望 ・入力データの改善 ・Stable Diffusionなどの生成AIを用いて綺麗な出力が 得られそうなデータの作成 ・MagicAnimateの再学習・転移学習 ・OpenPose ポーズ情報により再学習したMagicAnimate ・別手法の使用 ・AnimateDiff x ControlNet ・AnimateAnyone Copyright © 2023 himazin331. All Rights Reserved. 7

動画再生 できない場合 YouTube Copyright © 2023 himazin331. All Rights Reserved. 8

• https://www.youtube.com/watch?v=7U7SIKk_yEI

Appendix Copyright © 2023 himazin331. All Rights Reserved. 9

WebAR ・Universal AR SDK for Unity Zappar for Unity Example https://github.com/zappar-xr/unity-exampleimage-tracking-3d-animation アニメーション動画をWebAR上で コンテンツ配信したかったが.... デモ動画 → 動画再生できない場合: YouTube Copyright © 2023 himazin331. All Rights Reserved. 10

• https://github.com/zappar-xr/unity-example-image-tracking-3d-animation
• https://youtube.com/shorts/PeWqP_-_5F0

WebAR ・WebGL上での動画再生について ・Unity側の問題によりWebGL上でVideoPlayerによる動画再生ができない New Unity video player in WebGL. | Unity Forums ・外部にホスティングした動画を参照する方法であれば再生できる？［要調査］ Video didnt play on browser but play correctly on unity editor ・下のプラグインを導入することで実現が可能らしいが高額 ($167.20) Video Player WebGL Copyright © 2023 himazin331. All Rights Reserved. 11

• https://forum.unity.com/threads/new-unity-video-player-in-webgl.480383/
• https://forum.zap.works/t/video-didnt-play-on-browser-but-play-correctly-on-unity-editor/7065/2
• https://assetstore.unity.com/packages/tools/video/video-player-webgl-192420

WebAR ・動画をホスティングしてURL参照はできません 理由は、CORSとセルフホスティング制限によるもの ・CORS制限 HTTP通信により提供されるコンテンツ(http://~)と HTTPS通信により提供されるコンテンツ(https://~)を混同できない そのため、WebARおよび動画をHTTPS通信により提供しないといけない ※ WebAR自体もHTTPS通信でないと動作しない Copyright © 2023 himazin331. All Rights Reserved. 12

WebAR ・セルフホスティング制限 オレオレ証明書によるHTTPS通信は参照元も参照先も無効 なのでインターネット上に公開して、 有効な証明書を発行しホスティングする必要がある しかし、無償ライセンスではセルフホスティングはできない仕様になっている https://docs.zap.works/universal-ar/general/licensing/ なので無理 ※ 例外としてZapWorksによる公開または ngrokでローカルサーバ(with 証明書)公開は許容されている Copyright © 2023 himazin331. All Rights Reserved. 13

• https://docs.zap.works/universal-ar/general/licensing/