ファンデーションの塗りムラをなくすための基礎調査

C14-4 ファンデーションの塗りムラを なくすための基礎調査 明治大学 総合数理学部 梶田美帆 中村聡史

背景 ・顔は年齢や性別, 感情などの個人の印象を捉えやすい部位 ・化粧は自身の印象を理想に近づけるための手段のひとつ ・ベースメイクは肌を即時的に整え, 理想の質感を演出できる 2

ファンデーションの重要性 ・ファンデーションは肌の表面を均一に整えることを目的とした ベースメイクの一種 ・肌色補正効果, 毛穴や色ムラなど肌の欠点を隠すカバー効果 ・化粧を施した肌の見た目に「自然さ」「透明感」など理想的な質感を 付与する効果 ・綺麗に塗ることが難しく「塗りムラ」が問題 3

塗りムラができると… ・肌の難点(毛穴, ニキビあと, 隈, しみetc)が隠れない ・日焼け止めを兼ねていたりもするので, ぬれていないと そこだけ変に日焼けしてしまう ・化粧崩れの原因に…… 4

研究目的 ファンデーションを塗りムラなく 自分で塗れるようにしたい！ 5

アンケート調査 回答者:化粧をする女性1000人(有効回答984件) ファンデーション購入の際に気にすること 68.1 50.6 40.4 18.9 5.4 ■トーンアップカ ■カバーカ ■くずれにくさ ■手軽さ ■その他 6

アンケート調査 回答者:化粧をする女性1000人(有効回答984件) ベースメイクの学習法 76.8 28.3 15.2 10.6 6.4 5.6 21.8 1.3 ■自己流 ■親・友人 ■専門家 ■動画 ■SNS ■Web ■雑誌 ■その他 7

アンケート調査 回答者:化粧をする女性1000人(有効回答984件) ベースメイクの学習法 37%が塗りムラに 悩んでいる どこにどの程度塗ったのか 把握が難しい…… 76.8 28.3 15.2 10.6 6.4 5.6 21.8 1.3 ■自己流 ■親・友人 ■専門家 ■動画 ■SNS ■Web ■雑誌 ■その他 8

塗りムラの原因 ファンデーションは自身の肌の色に近いものを使用する 素肌との境目が肉眼でわかりづらい 9

塗りムラの原因 ファンデーションは自身の肌の色に近いものを使用する 素肌との境目が肉眼でわかりづらい ファンデーションを塗った箇所と 塗っていない箇所(素肌)がどこなのかを 化粧をしている最中に確認したい 10

関連研究 ・ファンデーション肌は素肌より光をより効率的に吸収する [五十嵐 2012] ・素肌とファンデーション肌に光を当てた際の反射の波長特性の わずかな差異を強調する透過特性を持つ光学フィルタを用いた ファンデーションの量の定量化・分布計測システム [西野 2013] マイクロスコープやフィルタなど特別な機器が必須 化粧をする一般のユーザの利用は困難 11

提案システム 特殊なフィルタやカメラなどを用いず 化粧中の一般のユーザに対して塗りムラを指摘 ファンデーション肌画像と素肌画像を 機械的に判別！ 12

素肌とファンデーション肌の判別 ・目的:スマートフォンで撮影したファンデーションの 実際の塗布画像から塗っている/塗っていないを判別 ・手法:頬と額の平たい部分の肌の一部について 素肌の画像とファンデーションを塗った画像を収集 塗った画像を正, 素肌を負として機械学習 ・対象:16名(女性11名, 男性5名) 13

化粧品選定 ・ユーザはなりたい肌の質感や仕上がりによって, 様々な種類の ファンデーションを使い分ける ファンデーションの種類は肌の見た目に大きく影響する ・様々な人に対応するため, 12種類のファンデーションを使用 テクスチャ3種類(パウダー, リキッド, クリーム) ×仕上がり2種類(ツヤ, マット) ×2製品 ・著者の肌色をベースに色を選定 14

データ収集実験手順 1. 洗顔しメイクなどをオフ 2. 素肌の写真を撮影 3. 頬と額にそれぞれ下地⇒ファンデの順に塗布 4. 写真を撮影(各箇所5枚) ・正面, 右・左斜め, 上下の5方向 ・距離:15〜30cmくらい 5. メイクオフ 6. 3〜5の作業を3日に分けて12回繰り返す 15

データ収集実験手順 1. 洗顔しメイクなどをオフ 2. 素肌の写真を撮影 3. 頬と額にそれぞれ下地⇒ファンデの順に塗布 4. 写真を撮影(各箇所5枚) 実験協力者ひとりにつき130枚の画像を収集 素肌画像:10枚(部位2か所×5方向) FD肌画像:120枚(部位2か所×5方向 ×FD12種類) 5. メイクオフ 6. 3〜5の作業を3日に分けて12回繰り返す 16

データ収集実験手順 撮影した画像 正面 左向き 右向き 上向き 下向き 17

データセット構築 収集した画像を500px四方に切り出し, さらに100px四方に 25分割 ・素肌画像 :4000枚(10枚×25分割×16人) ・ファンデーション肌画像:4000枚(10枚×25分割×16人) からなるデータセットを12種類作成 18

特徴量抽出 画像の色彩傾向を表す6次元の特徴量を設定 ・ファンデーションの色:赤み・黄み…色相, 明暗…明度 ・ファンデーションの仕上がり(「ツヤ」, 「マット」):彩度 特徴量:色相・彩度・明度の平均, 標準偏差 RGB画像 データ HSV色空間に変換 特徴量抽出 6次元の 数値 データ 19

データセット分割法 ・分割方法1 データセットをそのまま学習 ・分割方法2 画像の部位が頬か額のどちらかによって2種類に分割 ・分割方法3 実験協力者ごとに16種類に分割 それぞれランダムフォレストで学習・二値分類 (学習データ:75%, テストデータ:25%) 20

分割方法1:結果 データセットをそのまま学習・判別 ・期待値:50.0% ・正解率:平均82.3% ・真陽性率:平均82.3%, 真陰性率:平均82.3% 21

分割方法1:結果 データセットをそのまま学習・判別 ・期待値:50.0% ・正解率:平均82.3% ・真陽性率:平均82.3%, 真陰性率:平均82.3% ある程度の精度で判別可能 22

分割方法2:結果 部位による判別のしやすさについて調査するため, 画像の部位が頬か額のどちらかによって2種類に分割 ・期待値50.0% ・平均正解率:85.3% (額…89.6%, 頬…81.0%) ・額の方が判別しやすかった 23

分割方法2:考察 額(左)と頬(右)の ファンデーション塗布後の 画像比較 ・額は毛穴やしわなどが比較的頬より多く, ファンデーションが 平滑に塗られにくい傾向 ・肌に対してファンデーションが一部浮いた状態が特徴量で表現 24

分割方法2:考察 額(左)と頬(右)の ファンデーション塗布後の 画像比較 ・額は毛穴やしわなどが比較的頬より多く, ファンデーションが 平滑に塗られにくい傾向 ・肌に対してファンデーションが一部浮いた状態が特徴量で表現 ファンデーションの厚く塗られた状態と 薄く塗られた状態を分類することも可能? 25

分割方法3:結果 個人差を調査するため, 実験者それぞれについて学習・判別 ・平均正解率…92.4% ・16名全員のデータに対して学習・判別:平均正解率…82.3% ・個人について学習する方が高い精度で判別できている 26

分割方法3:結果と考察 個人差を調査するため, 実験者それぞれについて学習・判別 ・平均正解率…92.4% ・16名全員のデータに対して学習・判別:平均正解率…82.3% ・個人について学習する方が高い精度で判別できている 個人の肌色や肌質などを考慮することで より高い精度で判別可能? 27

特徴量ごとの正解率:結果 判別できた画像の傾向を調査するため, 特徴量を それぞれ色相, 彩度, 明度の平均と標準偏差のみで学習・分類 最も精度がよかったもの リキッド パウダー クリーム 色相 60.8% 65.4% 63.1% 彩度 62.4% 68.2% 63.5% 明度 60.2% 66.0% 68.9% 28

特徴量ごとの正解率:考察 ・色相と彩度:パウダーファンデーション 肌に対して密着しづらく白く浮きやすい性質 ・明度:クリームファンデーション テクスチャが重く肌に密着しやすくカバー力が高い性質 29

特徴量ごとの正解率:考察 ・色相と彩度:パウダーファンデーション 肌に対して密着しづらく白く浮きやすい性質 ・明度:クリームファンデーション テクスチャが重く肌に密着しやすくカバー力が高い性質 ファンデーションの種類に合わせて 色相, 彩度, 明度の特徴量に適切な 重みづけをすることで より高い正解率で判別可能? 30

正解率結果まとめ ・分割方法1:データセットをそのまま学習…平均82.3% ・分割方法2:部位ごとに2種類に分割…平均85.3% ・分割方法3:実験協力者ごとに16種類に分割…平均92.6% 個人ごとに学習させたものが最も精度が高い ・特徴量ごとの正解率 色相:パウダーファンデーション(平均65.4%) 彩度:パウダーファンデーション(平均68.2%) 明度:クリームファンデーション(平均68.9%) ファンデーションの種類ごとに特徴量の影響に差 31

より高精度に判別するためには… ・分割方法1:データセットをそのまま学習…平均82.3% ・分割方法2:部位ごとに2種類に分割…平均85.3% ・分割方法3:実験協力者ごとに16種類に分割…平均92.6% 個人ごとに学習させたものが最も精度が高い 個人の肌色や肌質などを考慮 ・特徴量ごとの正解率 色相:パウダーファンデーション(平均65.4%) 彩度:パウダーファンデーション(平均68.2%) 明度:クリームファンデーション(平均68.9%) ファンデーションの種類ごとに特徴量の影響に差 32

より高精度に判別するためには… ・分割方法1:データセットをそのまま学習…平均82.3% ・分割方法2:部位ごとに2種類に分割…平均85.3% ・分割方法3:実験協力者ごとに16種類に分割…平均92.6% 個人ごとに学習させたものが最も精度が高い 個人の肌色や肌質などを考慮 ・特徴量ごとの正解率 色相:パウダーファンデーション(平均65.4%) 彩度:パウダーファンデーション(平均68.2%) 明度:クリームファンデーション(平均68.9%) ファンデーションの種類ごとに特徴量の影響に差 ファンデーションの種類に合わせ 色相, 彩度, 明度の特徴量に 適切な重みづけ 33

課題と展望 ・分割方法3における必要写真数:10枚 より少ない画像枚数で可能か検討 ・今回は100pxの画像について学習・判別 より解像度の小さい画像データセットでの学習・推定 ・目的のシステム:リアルタイムで塗りムラの判定 動画においてファンデーションの塗布状態を判別可能か検討 34

まとめ ・背景 :塗りムラができてしまうが解決方法がない ・大目的:塗りムラをなくしたい ・目的 :一般的なカメラで撮影した画像において, 素肌とファンデーション肌を区別できるか検討 ・手法 :12種類のファンデーション画像を収集・機械学習で 2値分類 ・結果 :高い精度で判別できた 35