自他との平均化により手書きをきれいにするシステムの提案

明治大学総合数理学部先端メディアサイエンス学科 又吉康綱，久保田夏美，斉藤絢基，大島遼，中村聡史，鈴木正明 第10回WI2研究会 2017.07.08 @京都大学

デモ

背景 情報端末に専用ペンが付属するようになった 手書きする機会が増えてきた https://www.microsoft.com/ja-jp/surface/accessories/surface-pen https://www.apple.com/jp/apple-pencil/

• https://www.microsoft.com/ja-jp/surface/accessories/surface-pen
• https://www.apple.com/jp/apple-pencil/

背景 学習のノートやメモを情報端末でとる https://www.microsoft.com/en-au/store/d/surface-pen/ https://itunes.apple.com/jp/app/myscript-memo/

• https://www.microsoft.com/en-au/store/d/surface-pen/
• https://itunes.apple.com/jp/app/myscript-memo/

背景：手書きとタイピング 日本語のメモ書き作業における手書き入力の有効性 [ムハマド ズルキフリー 2008] 入力速度，認知的負荷に着目し，日本語メモ書き作業における 手書きとタイピングの比較実験を行った． 手書きの方がタイピングよりも 速く正確に書ける

背景：手書きに関する意識調査 自分の手書きが恥ずかしいと 感じたことがある？ もっとキレイだったらと 後悔したことがある？ ない ない 35.7% 36.8% ある 64.3% ある 63.2% ゼブラ株式会社 2015年 http://www.zebra.co.jp/press/news/2015/0403.html

• http://www.zebra.co.jp/press/news/2015/0403.html

背景：手書きの抵抗感 原因 自身の満足する手書き文字が書けない！

背景：先行研究 平均文字は美しい[中村ら 2014] 手書き文字を数式化することで，複数文字を平均化 平均した文字を実際に書いた文字よりも高く評価される

背景：先行研究 手書き文字に対する書き手識別と好感度に関する調査 [斉藤ら 2016] 他者の手書き文字と融合すると自身の文字の特徴を残しつつ 字形やバランスが整うため好印象になる

背景：手書きの抵抗感の解決 原因 自身の満足する手書き文字が書けない！ 自身の平均文字や他者との融合文字を提示

仮説：背景より 手書き文字を，自他の手書き文字とリアルタイムに 融合することで評価が高い文字にできノートテイク に対する満足感が得られる？

本研究では 1. 自他の手書き文字に対し融合手法を用いた プロトタイプシステムの提案と実装 2. システムの利用テストから仮説に関する検討

関連研究 Handwriting Beautification Using Token Means [Zitnick 2013]

関連研究 Handwriting Beautification Using Token Means [Zitnick 2013] • 漢字などの画数が多く，バランスをとるのが難しい文字には 適していない • 同一人物のストローク曲率が似てることを前提としており、 曲率が異なる他者との融合には適していない 文字認識と数式化により解決

提案手法：概要 文字認識「あ」 数式化 𝑥1 = 𝑓1 (𝑡) ቊ 𝑦1 = 𝑔1 (𝑡) 融合文字提示 1 : 2 : 融合 手書き文字 データベース : 3 : : 4 : : 𝑥2 = 𝑓2 𝑡 ቊ 𝑦2 = 𝑔2 (𝑡)

提案手法：手書き文字の数式化 ストロークの スプライン補間 点列座標を取得 （点間を狭める） 𝑥, 𝑦 = { 𝑥1 , 𝑦1 , … , 𝑥𝑛 , 𝑦𝑛 } フーリエ級数展開 により数式化 𝑥, 𝑦 = { 𝑥1 , 𝑦1 , 𝑥1.1 , 𝑦1.1 , 𝑥1.𝑚 , 𝑦1.𝑚 , … , 𝑥𝑛 , 𝑦𝑛 } 𝑥 =𝑓 𝑡 ቊ 𝑦 = 𝑔(𝑡)

提案手法：手書き文字の数式化 𝒙= 306.83cos 0𝑡 + 0sin 0𝑡 + 10.08cos 1𝑡 − 0.04sin(1𝑡) ൞ +15.07𝑐𝑜𝑠 2𝑡 − 0.13𝑠𝑖𝑛(2𝑡) − 15.63𝑐𝑜𝑠 3𝑡 + 0.2𝑠𝑖𝑛 3𝑡 −43.31𝑐𝑜𝑠 4𝑡 − 0.75𝑠𝑖𝑛(4𝑡) + 24.23𝑐𝑜𝑠 5𝑡 − 0.52𝑠𝑖𝑛(5𝑡)… 𝒚= 285.23cos 0𝑡 + 0sin 0𝑡 + 86.7cos 1𝑡 − 0.37sin(1𝑡) ൞−6.63cos 2𝑡 + 0.06sin 2𝑡 + 16.44cos 3𝑡 − 0.21sin 3𝑡 6.82cos 4𝑡 − 0.12sin(4𝑡) − 26.07cos 5𝑡 + 0.56sin(5𝑡)… http://satoken.nkmr.io/2015/Char2Fourier/convert.html

• http://satoken.nkmr.io/2015/Char2Fourier/convert.html

提案手法 文字認識「あ」 数式化 手書き文字 データベース 融合文字提示 : B : 融合 A : C : : D : :

平均化手法：自身の手書き文字の融合 N + 入力された手書き文字 + ・・・・ + N = 手書き文字データベースに存在する 数式化した文字と平均化を行う 平均文字

平均化手法：自身の手書き文字の融合 http://avgchar.nkmr.io/

• http://avgchar.nkmr.io/

平均化手法：他者の手書き文字の融合 他者の手書き文字データ ( 𝜶 を0から1に設定) 平均化 (1 − 𝛼) ∗ 他者の平均文字 +𝛼∗ = 入力した手書き文字 融合文字

実装 プロトタイプシステム : Mo j i r age - 平均文字ノート h t t p: //moj i r age. com

• http://mojirage.com/

実装

実装

実装 ポスターセッション やります！⑫番

利用テスト • 協力者：学生5人(21歳~23歳) • 機器：iPad Pro(12.9inch) & Apple Pencil • 内容：文章を4回模写 • 文章：宮沢賢治作「ポラーノの広場」(一部) あのイーハトーヴォのすきとおった風、夏でも底に冷 たさをもつ青いそら、うつくしい森で飾られたモリー オ市、郊外のぎらぎらひかる草の波。 http://www.aozora.gr.jp/cards/000081/files/1935_19925.html

• http://www.aozora.gr.jp/cards/000081/files/1935_19925.html

利用テスト内容：自身との融合 自身との融合の利用テスト 文章を3回模写 提示文字 /1 = 1回目 2回目 ( + 3回目 ( + /2 = ) + ) /3 =

利用テスト結果：自身との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後

利用テスト結果：自身との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後

アンケート結果：自身との融合 肯定的な意見 「平均化された漢字が特にバランスがよく，好きだった」 「やたら大きく書いた文字でも，平均化することで いい 大きさになった」 →先行研究の「ユーザが実際に書いた文字よりも， 自身の平均文字の方を高く評価する」と同じような 傾向がみられた

アンケート結果：自身との融合 否定的な意見 「字のバランスなどの違いを感じなかった」 →筆跡の恒常性：ブレがない文字を書く協力者には， 平均化が限定的なものになっていると考えられる →書きにくい環境なら，よりシステムの効果がある？

利用テスト考察：自身との融合 利用回数が増えるほど，きれいな手書き文字に変換される 3回分 580回分

利用テスト内容：他者との融合 他者が過去に書いた手書き文字との融合 文章を1回模写 「自身との融合」で入力した3回分の平均文字を使用 融合相手は自身で選択

利用テスト結果：他者との融合 • 融合前 • 融合後 • 融合前 • 融合後 • 融合前 • 融合後

アンケート結果：他者との融合 肯定的な意見 「自身の字がすごい勢いで変換されて，自身の字の汚さを 実感し，融合後の字が好きであると感じた」 「他者と融合することで，いつも上手く書けなかった文字も 納得いく文字になった」

アンケート結果：他者との融合 否定的な意見 「形が崩れた」 書き順の違い 「融合相手が気に入らなかった」 選べる対象が少なかったから

利用テスト考察：他者との融合 アンケートより 「他者の文字が混ざっていると思ったら面白くなってしまった」 「融合後の字が好きである 」 「好きな文字と融合すると満足感が高い 」 好みの手書き文字を書く人が好きなら もっと満足感が得られるのでは？

利用テスト：仮説の確認 アンケートで肯定的な意見が多かった もっと使いたいという意見が得られた 仮説の確認 仮説：自他の手書き文字と融合することでノートテイク に対する満足感が得られる ？ 👉 アンケート結果より肯定的な意見が多かったので 仮説の立証が見込まれる

まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された

今後の応用例 好きな人が書く文字と 融合したらもっと満足度が上がるのでは？

今後の応用例 応援しているアイドルの文字と 融合したらもっと満足度が上がるのでは？

今後の応用例 応援しているアイドルの文字と 融合したらもっと満足度が上がるのでは？

今後の応用例 アイドルのパフォーマンス 顔 歌声 ダンス アイドルにとって手書きメッセージは 自身を表現し,ファンを喜ばせる パフォーマンスの一つ 手書き文字 http://www.keyakizaka46.com/s/k46o/search/artist

• http://www.keyakizaka46.com/s/k46o/search/artist

今後の応用例 アイドル アイドルとノートをとる体験？ https://ameblo.jp/bigcatstudio/entry-12249712162.html

• https://ameblo.jp/bigcatstudio/entry-12249712162.html

今後の応用例 アイドル アイドルとノートをとる体験？ https://ameblo.jp/bigcatstudio/entry-12249712162.html

• https://ameblo.jp/bigcatstudio/entry-12249712162.html

今後の応用例

まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された 今後の予定 システムの改良 自他との平均化によりきれいにノートやメモを とることができるかの実験 http://mojirage.com

• http://mojirage.com/