ae-14. 顔検出システムの演習

14. 顔検出システムの演習 （ディープラーニング，Python を使用） （全１５回） https://www.kkaneko.jp/cc/ae/index.html 金子邦彦 1

• https://www.kkaneko.jp/cc/ae/index.html

アウトライン 番号 14-1 14-2 項目 復習 顔検出の応用例 演習 各自、資料を読み返したり、課題に取り組んだりも行う 2

物体検出とバウンディングボックス car person bicycle バウンディングボックスは， 物体を囲む最小の四角形 3

物体検出の仕組み ① 元画像から 切り出す 最初の区切り 画像分類 結果 4

物体検出の仕組み ② 画像分類 結果 区切りごとに画像分類を行う． 5

「区切り」を用いた物体検出での課題と解決 課題：物体の大きさがさまざま 解決へのアプローチ さまざまなスケールの画像を作る（マルチスケール） どこかのスケールでは，物体は「所定の大きさ」に近くなる ⇒ 区切りの大きさは同じにして，マルチスケールの画像を扱う これで，さまざまな大きさの物体を扱う 6

物体検出 顔検出 ■ 物体検出は，顔検出の基礎 ■ 物体検出のAIを，顔画像で学習することにより 顔検出が可能 7

14-1. 顔検出の応用例 8

群衆のカウント • 群衆のカウント（画像内の人数を数える） • 監視等に役立つ． 元画像 FIDTM 法による群衆のカウント FIDTM 法（2021年発表）は， それ以前の手法よりも，さまざま な大きさの顔を精度よく検出 できるとされている 9

マスク有りの顔，マスク無しの顔検出 Chandrika Deb の顔マスク検出法では，次を同時に実行 • 顔検出 • マスク有りの顔とマスク無しの顔の画像分類 マスク有りの顔検出 マスク無しの顔検出 訓練データ：顔のデータセット（マス ク有り: 2165 枚，マスク無し 1930 枚） 10

顔検出は，さまざまな応用の基礎 ■ 人数推定，集団行動解析，人流解析 顔検出の結果と他を組み合わせることで，さらなる応用も ■ 顔ランドマーク ■ 顔のコード化 ■ 表情，年齢，性別の推定 ■ 顔識別（本人の特定） ■ 顔の姿勢推定 ■ 顔の３次元化 11

オンラインデモ URL: https://cloud.google.com/vision/docs/drag-and-drop 【使い方】 ① 自分で画像ファイルを準備 ② 上の URL を Web ブラウザで開き，画像をアップロード ③ 「私はロボットではありません」をチェック 顔検出， 顔ランドマーク， 表情推定， 顔の向きの推定 12

• https://cloud.google.com/vision/docs/drag-and-drop

顔ランドマークと顔のコード化 顔ランドマーク （顔の目印となるポイント） 【用途】 顔のコード化， 顔識別（本人の特定）や顔認識， 年齢の推定，性別の推定， 表情の推定，顔の３次元再構成 など，さまざまな用途に 顔のコード化 顔による本人確認や， 個人の特定の基礎 13

• 顔識別（本人の特定）を行い，鍵代わりに使用 14

年齢推定，性別推定の例 推定結果：24歳男性 推定結果：23歳男性 推定結果：35歳男性 InsightFace による処理結果 【関連情報】 第６回授業では，さまざまな顔情報処理を試すことができるオンラインの ノートブック（Google Colaboratory）を紹介した https://colab.research.google.com/drive/1S55yEFiQpdIRdjWbdH0zzEYD5VAfklHd?usp=sharing#scrollTo=9PKc8UHqOlHt 15

• https://colab.research.google.com/drive/1S55yEFiQpdIRdjWbdH0zzEYD5VAfklHd?usp=sharing#scrollTo=9PKc8UHqOlHt

顔写真からの３次元再構成 3DFFA 法（2022年発表） • 元画像から，３次元の顔を生成（３次元再構成） • 顔検出，顔ランドマーク（顔の目印となるポイント）の検 出ののち，ランドマークに顔の３次元モデルをあてはめる 元画像 顔ランドマーク ３次元再構成 16

14-2. 顔検出システムの演習 17

Google Colaboratory の使い方概要 ① 実行 コードセル Google Colaboratory ノートブック コードセルの再実行や変更には， Google アカウントでのログインが必要 18

Google Colaboratory の使い方概要 ② 実行 コードセル テキストセル 実行 コードセル • WEBブラウザでアクセス • コードセルは Python プログラム． 各自の Google アカウント でログインすれば， 変更，再実行可能 一番上のコードセルから順々に実行 19

演習 ① 目的 Chandrika Deb の顔マスク検出法を実行 • マスク無しの顔，マスク有りの顔についての 顔検出を行うことで，顔検出システムの理解を深め る • 学習のためのプログラム実行も行ってみる 20

② 注意点 1. どのような用途で役立てるかは，各自で，自由 に想像すること 2. 画像は各自で準備すること 3. 必ずしも完璧な精度で結果が得られるわけでは ない．誤りや誤差を含むものである． 4. 得られた結果で何に役に立つかの考察も大切で ある． 21

③実験の基礎 ・物体検出 ・マルチスケールの技術により，さまざまな大き さの物体検出が可能になった ・ディープラーニングでは，学習が必要である 22

④ 手順 （１）次のページで公開されているページを利用 https://colab.research.google.com/drive/1iYEI9O_cxWw4Vyya faYB4ne6CNdNJYeS?usp=sharing （２）画像は各自で準備．拡張子が .jpg のファイルを準備． 複数． （３）必要な前準備 1. Googleアカウントでのログインが求められたときはログイ ンする 2. このページのメニューの「ランタイム」で「ランタイムの タイプを変更」を選ぶ． 新しい画面が開く．ハードウエアアクセラレータで「GPU」 を選ぶ．そして「保存」をクリック． （４）すべてのセルを実行．途中で，画像をアップロード 23

• https://colab.research.google.com/drive/1iYEI9O_cxWw4Vyya

⑤各自で考察して欲しいこと • 実行は簡単だったか，難しかったか． • 社会課題の解決を考察してください． どのような社会課題を解決できそうですか？ どのような場合で，役に立ちそうですか？ 24