言語化による模写時の観察支援システムの実現

言語化による模写時の観察支援システムの実現 明治大学 菅野一平 明治大学 中村聡史

概要 デジタルイラスト初心者に向けた研究 目的：システムを用いて模写における観察を促す 手法：画像を分割提示し，その画像の特徴を言語化する 実験：システムを用いた際に観察が促されるか検証 結果 ①ユーザが普段気づかない視点に関して，観察が促された ②システムを用いたことによる練習効果があった

デモ動画

デモ動画

背景 デジタルイラストに 独学で挑戦する初心者がいる しかし一人でイラスト制作することは難しい 特に初心者のうちは • 思い通りに描けない • バランスや色が狂う

背景 イラスト制作において観察は重要 観察を十分に行うことで…… • バランス • 色や光 • 細かい部分 →整合性がとれて思い通りに描ける

問題 初心者は • 観察 • 想像と考察 を十分に行わないので思い通りに描けない そこで 観察を促し，深く考察させる手法が必要

関連研究 Shadow draw (Yong Jae Lee, Larry Zitnick, and Michael Cohen, 2011.)

アプローチ →言葉でアウトプットさせて観察を促す 言葉でアウトプットすることで • 考察する • より意識が向き観察を行う

これまでの研究 個人のイラスト制作における観察に対する支援手法の検討(DCC24) • 観察時に言語化する手法を提案 • 言語化が細かい部分の観察を促すのに有効 →言語隠蔽効果を考慮していなかった 言語化と画像の分割表示による模写時の観察支援手法の検討(EC59) • 言語隠蔽効果を考慮し，画像分割手法を提案 • 画像分割手法により， ①全体に対してまんべんなく観察された ②言語化が具体的になる

画像分割手法 部分的な画像を見せる ↓ イラスト制作者の視点を絞る • 自分では観察しない視点について注意が向く • 深く観察してより詳細に言語化できる 実環境における観察の促進効果は明らかになっていない

本研究の目的 画像分割手法を搭載したシステムにより 観察が促せるか明らかにする この研究では一般的な練習法であり観察が特に重要な 模写を対象に検証を行う 人の顔を観察するためのプロトタイプシステム

プロトタイプシステム

プロトタイプシステム 画像提示部分

プロトタイプシステム 指示文

プロトタイプシステム テキストボックス

プロトタイプシステム ネクストボタン

プロトタイプシステム ズームボタン

言語化の判定 • ユーザが言語化した内容から 観察が不足している点を判定する 例)ユーザの言語化 • 髪が長い • 目が大きい • 鼻が丸い

言語化の判定 • ユーザが言語化した内容から 観察が不足している点を判定する 例)ユーザの言語化 • 髪が長い • 目が大きい • 鼻が丸い →口についての言語化がない

言語化の判定 例)「目」と判定される場合 「目」「眉毛」「瞳」「まつ毛」「まぶた」「眼」 「一重」「二重」 →これらの言葉がある時に「目」のポイントを減算 判定グループ A) 大きさ，位置 B) 目 C) 口 D) 鼻 E) 髪

指示の切り替え ①あらかじめ指示文をデータベースに登録する ②言語化判定によって指示するカテゴリを決定する ③カテゴリの中からランダムに提示する．一度提示した指示は提示 しないようにする 例)口の指示 • 「唇(くちびる)の色を観察してください」 • 「下唇(くちびる)の形を観察してください」 • 「唇(くちびる)に対する光の当たり方を観察してください」

画像の切り替え (左上)大きさ，髪，(右上)目，(左下)口，(右下)鼻

実験 • 模写をする実験 • 情報系学部に所属する大学生13名に対して実施 (教室などで絵を習っていない20~24歳，男性6名， 女性7名) 使用したもの • Clipstudio • Wacom製液晶タブレット • Alienware

実験の内容 • システムなし条件とシステムあり条件を 2日に分けて実施 実験中 • 観察10分＋模写60分を行った • 観察中にシステムあり条件ではシステムを用いて 言語化を行う 実験後 • システムなし条件で実験中に気づいていた特徴について記述 • 実験に関するアンケート，システムに関するアンケートを実施

描画対象 女性の正面の顔写真 (PAKUTASO.ペタンと床に座りこむ女性の写真素材. https://www.pakutaso.com/20200421108post-26560.html. 2022/01/20) (PAKUTASO. IT系の会社プロフィール用のよくある写真（女性）の写真素材. https://www.pakutaso.com/20170827242post-12998.html. 2022/01/20)

結果：模写 システムあり システムなし

結果：模写 システムあり システムなし 主観評価，客観評価ともに大きな差はなかった

結果：注視時間 描画時間に対する描画中の注視時間の割合

結果：注視点ヒートマップ 注視点ヒートマップ (全員分，左：システムなし，右：システムあり)

結果：注視点ヒートマップ 注視点ヒートマップ (左：システムなし，右：システムあり)

結果：言語化 • 言語化は具体的，多面的になった 例)具体的な言語化 「目の大きさはおでこの三分の一ぐらい」 「唇の一番下から顎までは右目一個分くらい」 「横の長さは（目より）口のほうが少し長い」 • 「顎の位置を観察してください」 という指示に対して顎の位置だけでなく， 「唇はうすい」 「鼻の穴は下向き」 といった指示と関係ない言語化も見られた

考察：絵 • 絵の評価はあまり大きく変わらなかった • 「違和感がある」とすべての人が回答していた →絵に十分に反映できていない

考察：視線分析 • 注視時間が増えた →観察に対して意識が向いた • 注視点ヒートマップから，一人では普段観察しない視 点に対して観察を促せることが分かった →初心者に対して新たな視点を与えることに有効

考察：言語化 • 言語化が具体的，多面的になった →視点を絞り，より詳細に言語化することができた →言語隠蔽効果を表れにくくした • システムで指示された箇所以外の場所について言語化 が行われた →指示に意識が向き過ぎなかった →視点を絞ることで気づく特徴があった

システムの改善点 • 画像認識を用いることでほかの観察対象に対しても 支援可能(分割方法は要検討) • 描画中にさらに観察に向かせる仕組みが必要 • 形態素解析を用いることで より精度の高い言語化判定ができると考えられる • ズームボタンの拡大率の操作

まとめ デジタルイラスト初心者に向けた研究 目的：システムを用いて模写における観察を促す 手法：画像を分割提示し，その画像の特徴を言語化する 実験：システムを用いた際に観察が促されるか検証 結果 ①ユーザが普段気づかない視点に関して，観察が促された ②システムを用いたことによる練習効果があった 今後 • 他の物体に対して支援手法を検討する • 描画中の支援方法を検討する • 拡大率を実装する