ae-12. データの合成

12. 人工知能による合成 （ディープラーニング，Python を使用） （全１５回） https://www.kkaneko.jp/cc/ae/index.html 金子邦彦 1

• https://www.kkaneko.jp/cc/ae/index.html

アウトライン 番号 項目 12-1 12-2 12-3 12-4 人工知能による合成 GAN の仕組み 人工知能社会の特徴 演習 各自，資料を読み返したり，課題に取り組んだりも行う 2

12-1. 人工知能による合成 3

人工知能による合成の例① 翻訳を行うオンラインサービス Web ブラウザで動く DeepL の URL: https://www.deepl.com/ja/translator 4

人工知能による合成の例② 実在しない人間の顔画像を生成 研究成果はオンラインで公開されている tl-GAN のページ, https://docs.google.com/presentation/d/1OpcYLBVpUF1LwwPHu_CyKjXqXD0oRwBoGP2peSCrSA/edit#slide=id.g4551faa5ed_0_208 5

• https://docs.google.com/presentation/d/1OpcYLBVpUF1L-wwPHu_CyKjXqXD0oRwBoGP2peSCrSA/edit

人工知能による合成の例③ 実在しない人間の顔画像を生成 年齢，髪量，口の開き具合，髪の波うち，眼鏡など さまざまな特徴に応じた顔を生成可能 研究成果はオンラインで公開されている tl-GAN のページ, https://docs.google.com/presentation/d/1OpcYLBVpUF1LwwPHu_CyKjXqXD0oRwBoGP2peSCrSA/edit#slide=id.g4551faa5ed_0_208 6

• https://docs.google.com/presentation/d/1OpcYLBVpUF1L-wwPHu_CyKjXqXD0oRwBoGP2peSCrSA/edit

人工知能による合成の例④ 写真の合成，イラストの合成 DALL E 研究成果，プログラムのソースコードはオンラインで公開されている https://openai.com/blog/dall-e/ 7

• https://openai.com/blog/dall-e/

人工知能による合成の例⑤ 暗い画像をもとに，明るい画像を合成（画質改善） 研究成果，プログラムのソースコードはオンラインで公開されている https://github.com/VITA-Group/EnlightenGAN 文献 EnlightenGAN: Deep Light Enhancement without Paired Supervision Yifan Jiang, Xinyu Gong, Ding Liu, Yu Cheng, Chen Fang, Xiaohui Shen, Jianchao Yang, Pan Zhou, Zhangyang Wang 8

• https://github.com/VITA-Group/EnlightenGAN

人工知能による合成⑥ 低解像度の画像を，高解像度の画像に変換 研究成果，プログラムのソースコードはオンラインで公開されている http://pulse.cs.duke.edu/ 文献 Menon, Sachit and Damian, Alex and Hu, McCourt and Ravi, Nikhil and Rudin, Cynthia, PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models, The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 9

• http://pulse.cs.duke.edu/

人工知能による合成の例⑦ 色分け図や線画をもとに，画像を合成 研究成果はオンラインで公開されている Video-to-Video Synthesis のページ https://www.youtube.com/watch?v=S1OwOd-war8 10

• https://www.youtube.com/watch?v=S1OwOd-war8

12-2. GAN の仕組み 11

ここまでのまとめ 人工知能による合成のバリエーション • 本物そっくりのフェイクを無数に生成 • 元の素材を変換，翻訳 • 人間の指示をもとに生成 12

• AI は，学習により，いかに「本物そっくりのも の」を合成できる能力を獲得するか？ 13

Discriminator • 画像の分類 本物か？ フェイクか？ • ディープラーニングを使用 画像 Discriminator 本物か？ フェイクか？ （画像分類） 14

Generator • 乱数を種として画像を生成 • ディープラーニングのオートエンコーダを使用 乱数 Generator 画像 15

Generator の学習（Discriminator を使用） • 訓練データ 生成した画像，本物かフェイクかの判別結果 • 訓練により，本物画像の精製能力が向上 乱数 Generator 画像 画像 Discriminator 本物か フェイク か 本物 フェイク 16

Discriminator の学習（Generator を使用） • Generator により，「フェイク」の画像を生成． Discriminator の学習に使用 Discriminator 乱数 Generator 本物か フェイク か 画像 画像 フェイク 17

まとめ • Generator: 学習により，本物と見分けがつかない 画像を生成する能力を獲得 • Discriminator: 学習により，本物とフェイクの判別 の能力を獲得 乱数 Generator 画像 Discriminator 本物か フェイクか 18

12-3. 人工知能社会の特徴 19

① AI と人間の協働は当たり前になる 「AIを使わない」はあり得ない 翻訳を行うオンラインサービス 20

② 「写真は信用できる」という常識が変容する → ＋ 写真 ビデオ 合成されたビデオ 21

③ 「人工知能だから正しい」とは言えない ・人工知能は，平気で，差別的言動，不愉快な画像 を生成する可能性がある ・人工知能の学習に使う訓練データが偏っていると， 合成されるデータも偏ってしまう 22

12-4. 演習 23

演習 • 顔画像で，どちらが実在で，どちらがフェイクかのクイズを行う（オンライン デモ） https://www.whichfaceisreal.com/ • アニメ風キャラクタ画像の合成（オンラインのデモ） Waifu Labs https://waifulabs.com/ • テキストからの画像生成（オンラインのデモ） DALL E https://openai.com/blog/dall-e • テキストからの画像合成（オンラインデモ）Stable Diffusion https://huggingface.co/spaces/stabilityai/stable-diffusion • テキストからの画像合成（オンラインのデモ） Craiyon (DALL E mini) https://www.craiyon.com/ • 超解像に関する Google Colaboratory のページ https://colab.research.google.com/drive/1oT69ts_qzr1xrPYguSepcl24QaQv5AYq#scr ollTo=mlVW1_628s0G 24

• https://www.whichfaceisreal.com/
• https://waifulabs.com/
• https://openai.com/blog/dall-e
• https://www.craiyon.com/
• https://colab.research.google.com/drive/1oT69ts_qzr1xrPYguSepcl24QaQv5AYq#scr

人工知能による合成の例 実在しない人間の顔画像を生成 Web ブラウザで動く 実在 フェイク Web ブラウザで動く https://www.whichfaceisreal.com/ 25

• https://www.whichfaceisreal.com/

アニメ風キャラクタ画像の合成（オンラインのデ モ） Waifu Labs • オンラインのサイト https://waifulabs.com/ 「START NOW!」をクリック 選択画面 選択画面 選択画面 生成された 画像 26

• https://waifulabs.com/

テキストからの画像生成（オンラインのデモ） DALL E • オンラインのデモ https://openai.com/blog/dall-e 「Edit prompt or view more images」をクリック，メ ニューで選ぶ メニュー 27

• https://openai.com/blog/dall-e

テキストからの画像合成（オンラインデモ） Stable Diffusion • オンラインのデモ https://huggingface.co/spaces/stabilityai/stable-diffusion 「Enter your prompt」のところに，英語でキーワード，文章 を入れて Enter キー （あるいは Generate Image をクリッ ク），混雑しているときはしばらく待つ． 28

テキストからの画像合成（オンラインのデモ） Craiyon (DALL E mini) • オンラインのデモ https://www.craiyon.com/ 「What image do you want to generate」のところに，英語でキーワード，文章を入れて Enter キー Generate Image をクリック），混雑しているときはしばらく待つ． （あるいは 29

• https://www.craiyon.com/

超解像に関する Google Colaboratory のページ https://colab.research.google.com/drive/1oT69ts_qzr 1xrPYguSepcl24QaQv5AYq#scrollTo=mlVW1_628s0 G 処理前 処理後 30

• https://colab.research.google.com/drive/1oT69ts_qzr