スマートフォンでのファンデーションの塗りムラ可視化システムの実現とその検証

スマートフォンでの ファンデーションの 塗りムラ可視化システムの 実現とその検証 梶田美帆（明治大学） 中村聡史（明治大学），伊藤貴之（お茶の水女子大学）

要旨 • DEIM2020・HCI196・199の研究を 踏まえて，ファンデーションの 塗りムラを可視化するシステムを作成 • システムを利用して化粧直しをしても らい評価を収集 2

背景 • 顔は年齢や性別，感情などの個人の印象を捉えやすい部位 • 化粧は自身の印象を理想に近づけるための手段のひとつ • ベースメイクは肌を即時的に整え，理想の質感を演出できる 3

背景 • 顔は年齢や性別，感情などの個人の印象を捉えやすい部位 • 化粧は自身の印象を理想に近づけるための手段のひとつ • ベースメイクは肌を即時的に整え，理想の質感を演出できる ファンデーションが最も重要！ 4

ファンデーションの特性 • ファンデーションの効果 肌色補正効果，毛穴や色ムラなど肌の欠点を隠す 肌の見た目に「自然さ」「透明感」など理想的な質感を付与 • 綺麗に塗ることが難しく「塗りムラ」ができやすい 5

ファンデーションの特性 • ファンデーションの効果 肌色補正効果，毛穴や色ムラなど肌の欠点を隠す 肌の見た目に「自然さ」「透明感」など理想的な質感を付与 • 綺麗に塗ることが難しく「塗りムラ」ができやすい ・肌の難点が隠せない ・ぬれていない部分が日焼けする ・化粧崩れの原因になる 6

研究プロジェクトの目的 ファンデーションを塗りムラなく 自分で塗れるようにしたい！ 7

塗りムラの原因 ファンデーションは自身の肌の色に近いものを使用する 素肌との境目が肉眼でわかりづらい 8

塗りムラの原因 ファンデーションは自身の肌の色に近いものを使用する 素肌との境目が肉眼でわかりづらい ファンデーションを塗った箇所と 塗っていない箇所（素肌）がどこなのかを 化粧をしている最中に確認したい 9

関連研究 • ファンデーション肌は素肌より光をより効率的に吸収する [五十嵐 2012] • 光学フィルタを用いたファンデーション量の分布計測システム [西野 2013] マイクロスコープやフィルタなど特別な機器が必須 化粧をする一般のユーザの利用は困難 10

目標とするシステム 特殊なフィルタやカメラなどを用いず 化粧中の一般のユーザに対して 塗りムラを指摘するシステム 11

研究の流れ 1 スマホで撮影した 顔画像から 塗りムラを検出する 方法の調査 2 塗りムラを 不快感なく 顔へ可視化する 方法の調査 2.5 実際のムラを 検出・可視化可能か 調査 3 リアルタイム 可視化システム 作成・評価実験 12

研究の流れ 1 スマホで撮影した 顔画像から 塗りムラを検出する 方法の調査 2 塗りムラを 不快感なく 顔へ可視化する 方法の調査 2.5 実際のムラを 検出・可視化可能か 調査 3 リアルタイム 可視化システム 作成・評価実験 13

研究の流れ 1 スマホで撮影した 顔画像から 塗りムラを検出する 方法の調査 2 塗りムラを 不快感なく 顔へ可視化する 方法の調査 2.5 実際のムラを 検出・可視化可能か 調査 3 リアルタイム 可視化システム 作成・評価実験 14

研究の流れ 1 スマホで撮影した 顔画像から 塗りムラを検出する 方法の調査 2 塗りムラを 不快感なく 顔へ可視化する 方法の調査 2.5 実際のムラを 検出・可視化可能か 調査 ・顔全体からムラを検出できていない ・実際の塗りムラを可視化していない 3 リアルタイム 可視化システム 作成・評価実験 15

研究の流れ 1 スマホで撮影した 顔画像から 塗りムラを検出する 方法の調査 2 塗りムラを 不快感なく 顔へ可視化する 方法の調査 2.5 実際のムラを 検出・可視化可能か 調査 3 リアルタイム 可視化システム 作成・評価実験 16

研究の流れ 1 スマホで撮影した 顔画像から 塗りムラを検出する 方法の調査 2 塗りムラを 不快感なく 顔へ可視化する 方法の調査 2.5 実際のムラを 検出・可視化可能か 調査 リアルタイムでの 検出・可視化が できていない 3 リアルタイム 可視化システム 作成・評価実験 17

研究の流れ 1 スマホで撮影した 顔画像から 塗りムラを検出する 方法の調査 2 塗りムラを 不快感なく 顔へ可視化する 方法の調査 2.5 実際のムラを 検出・可視化可能か 調査 3 リアルタイム 可視化システム 作成・評価実験 18

本研究の目的 塗りムラ可視化システムの作成 システムの有用性の調査 提案システム：一般ユーザが化粧時に使用することで， 簡単に塗りムラを修正できる スマートフォン用ファンデーション 塗りムラ可視化システム 19

システム概要 フロント (HTML/JS) リアルタイム 撮影画像 可視化結果 サーバー (Python) API 機械学習 リアルタイム 撮影画像 可視化結果 20

システムの可視化プロセス 顔認識したエリアを 10px四方に分割し 特徴量を抽出 素肌と判別された 箇所の座標を 特徴量として クラスタリング ユーザごとの 判別モデルを利用し 画像を二値分類 クラスタの重心を 中心に円を描画 21

システムの可視化プロセス 顔認識したエリアを 10px四方に分割し 特徴量を抽出 素肌と判別された 箇所の座標を 特徴量として クラスタリング ユーザごとの 判別モデルを利用し 画像を二値分類 クラスタの重心を 中心に円を描画 22

システムの可視化プロセス 顔認識したエリアを 10px四方に分割し 特徴量を抽出 素肌と判別された 箇所の座標を 特徴量として クラスタリング ユーザごとの 判別モデルを利用し 画像を二値分類 クラスタの重心を 中心に円を描画 23

システムの可視化プロセス 顔認識したエリアを 10px四方に分割し 特徴量を抽出 素肌と判別された 箇所の座標を 特徴量として クラスタリング ユーザごとの 判別モデルを利用し 画像を二値分類 クラスタの重心を 中心に円を描画 24

システムの可視化プロセス 顔認識したエリアを 10px四方に分割し 特徴量を抽出 素肌と判別された 箇所の座標を 特徴量として クラスタリング ユーザごとの 判別モデルを利用し 画像を二値分類 クラスタの重心を 中心に円を描画 25

システム利用実験概要 目的：提案手法の有用性および課題点の調査 機械学習用 モデル作成 (平均精度73%) システム利用 アンケート調査 対象：大学生・大学院生10名 26

システム利用実験 ファンデー ション塗布 システム利用 随時塗りムラの 修正 実験協力者が普段から使用している 下地・ファンデーションを 普段の化粧のスピードで塗布してもらう 27

システム利用実験 ファンデー ション塗布 システム利用 随時塗りムラの 修正 28

可視化実験 ファンデー ション塗布 システム利用 随時塗りムラの 修正 • システムで可視化された箇所を 鏡で確認しながら 塗りムラを修正してもらう • 実験協力者自身が仕上がりに 満足した時点で，実験終了 29

アンケート調査 提案手法の有用性および改善点などの調査 わかり やすさ 不快感 システムの 有用性 再利用意欲 提示結果の 参考度 平均評価 0.8 -2.2 1.3 1.3 1.2 システムの可視化結果に対するユーザの信頼度平均：69% (-3~+3の七段階評価 or 0~100%) 30

考察 わかり やすさ 不快感 システムの 有用性 再利用意欲 提示結果の 参考度 平均評価 0.8 -2.2 1.3 1.3 1.2 （複数の塗りムラが提示されていても） 丸が大きいから不快ではなかった 塗りムラの位置を大まかに提示する本手法は 塗りムラという嫌な印象のものをユーザに 不快感なく提示することが可能！ 31

考察 わかり やすさ 不快感 システムの 有用性 再利用意欲 提示結果の 参考度 平均評価 0.8 -2.2 1.3 1.3 1.2 塗りムラがリアルタイムで見られるので なんとなくではなく綺麗に塗れる感じがした システムを使うことで意識できていなかった 塗りムラが可視化されてとても良い 32

考察 わかり やすさ 不快感 システムの 有用性 再利用意欲 提示結果の 参考度 平均評価 0.8 -2.2 1.3 1.3 1.2 • 塗りムラのわかりやすさと不快感の低減をある程度両立 • ファンデーションの塗りムラ解消を支援する手段として 本システムはある程度有用 33

考察：わかりやすさ わかり やすさ 不快感 信頼性 提示結果の 参考度 システムの 有用性 再利用意欲 平均評価 0.78 -2.2 69% 1.2 1.3 1.3 リアルタイム確認できるのでわかりやすい 塗りムラの表示形式と色が見やすかった タイムラグがある（可視化に時間がかかる） 通信量の低減および クライアント上での処理の効率化 34

考察：精度 わかり やすさ 不快感 信頼性 提示結果の 参考度 システムの 有用性 再利用意欲 平均評価 0.78 -2.2 69% 1.2 1.3 1.3 自分の塗り方から考えてムラがありそうな 部分がちゃんと指摘されていた 同じ箇所でも塗りムラと 指摘される時とされない時があった データセット構築方法の変更 塗りムラ判定基準の変更が必要 35

考察：可視化方法の問題 今回の方針：素肌と判定された箇所すべてを クラスタリングした結果に基づき大まかに可視化 塗り直しても同じ箇所が指摘され続けていた 大まかに可視化するアルゴリズムの変更が必要 明らかに誤った箇所（髪の部分など）も表示 顔認識の精度の向上が必要 36

考察まとめ 良い点 • 塗りムラのわかりやすさと 不快感の低減 • ファンデーションの 塗りムラ解消を 支援する手段として 本システムはある程度有用 実用化に向けた 課題 • 通信量の低減 • クライアント上処理効率化 • データセット構築方法変更 • 塗りムラ判定基準変更 • 可視化アルゴリズム変更 37

展望 自分の顔に直接塗りムラを示されるため ムラの位置を実感しやすかった 次回以降塗る時も提示された箇所を意識しようと思えた システムにより自身のムラのできやすい位置を学習 システムの非使用時にも塗りムラへの意識が高まり 塗りムラの解消につながる可能性 長期実験を行い，最終的にシステムを利用せずとも 塗りムラなくファンデーションの塗布が可能か調査 38

まとめ 背景 ファンデの塗りムラは位置などわかりにくい 目的 ファンデーション塗りムラ可視化システムの有用性評価 手法 リアルタイムで顔から塗りムラを検出・結果を 可視化するシステムのプロトタイプを作成・評価実験 結果 ○提案手法のある程度の有用性 ×精度などに課題 展望 システムの改良，長期実験 39