平均手書きノート

明治大学総合数理学部先端メディアサイエンス学科 3年 又吉康綱，久保田夏美，斉藤絢基，大島遼，中村聡史，鈴木正明 WISS2017 2017.12.07 @八ヶ岳

背景 情報端末に専用ペンでメモをとる機会が増えている 手書きに関する意識調査 ( ゼブラ株式会社 2 0 1 5年) • 自分の手書きが恥ずかしいと感じたことがある 64.3% • 字がもっとキレイだったらと後悔したことがある 63.2% 自身の満足する手書き文字が書けない！ 満足する手書きが可能なノートの実現

背景：先行研究 自身の平均文字は美しい[中村ら 2014] 他者との融合文字は好感度が向上[斉藤ら 2016]

背景：先行研究 自身の平均文字は美しい[中村ら 2014] 他者との融合文字は好感度が向上[斉藤ら 2016]

目的：満足する手書きノートの実現 問題 自身の満足する手書き文字が書けない！ 自身との融合：よりきれいな文字 他者との融合：好感を持てる文字

本研究では 自他の手書き文字に対し融合手法を用いた プロトタイプノートシステムの提案と実装

関連研究 Handwriting Beautification Using Token Means [Zitnick 2013] 漢字など画数が多く，バランスが難しい文字は適していない 曲率が異なる他者との融合には適していない

関連研究 Handwriting Beautification Using Token Means [Zitnick 2013] 文字認識と数式化により解決 漢字など画数が多く，バランスが難しい文字は適していない 曲率が異なる他者との融合には適していない

提案手法：概要 融合 文字認識「あ」 数式化 ቊ 𝑥1 = 𝑓1 (𝑡) 𝑦1 = 𝑔1 (𝑡) ቊ 𝑥1 = 𝑓1 (𝑡) 𝑦1 = 𝑔1 (𝑡) ቊ 𝑥3 = 𝑓3 (𝑡) 𝑦3 = 𝑔3 (𝑡) 手書き文字 データベース 1 : 2 : 3 : 4 : : 𝑥 = 𝑓2 𝑡 ቊ 2 𝑦2 = 𝑔2 (𝑡) 融合文字 : : ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2 (𝑡)

手書き文字の数式化 ストロークの 点列座標を取得 𝑥, 𝑦 = { 𝑥1 , 𝑦1 , … , 𝑥𝑛 , 𝑦𝑛 } スプライン補間 （点間を狭める） フーリエ級数 展開により数式化 𝑥, 𝑦 = { 𝑥1 , 𝑦1 , 𝑥1.1 , 𝑦1.1 , 𝑥1.𝑚 , 𝑦1.𝑚 , … , 𝑥𝑛 , 𝑦𝑛 } ቊ 𝑥 =𝑓 𝑡 𝑦 = 𝑔(𝑡)

手書き文字の数式化 𝒙= 306.83cos 0𝑡 + 0sin 0𝑡 + 10.08cos 1𝑡 − 0.04sin(1𝑡) ൞ +15.07𝑐𝑜𝑠 2𝑡 − 0.13𝑠𝑖𝑛(2𝑡) − 15.63𝑐𝑜𝑠 3𝑡 + 0.2𝑠𝑖𝑛 3𝑡 −43.31𝑐𝑜𝑠 4𝑡 − 0.75𝑠𝑖𝑛(4𝑡) + 24.23𝑐𝑜𝑠 5𝑡 − 0.52𝑠𝑖𝑛(5𝑡)… 𝒚= 285.23cos 0𝑡 + 0sin 0𝑡 + 86.7cos 1𝑡 − 0.37sin(1𝑡) ൞−6.63cos 2𝑡 + 0.06sin 2𝑡 + 16.44cos 3𝑡 − 0.21sin 3𝑡 6.82cos 4𝑡 − 0.12sin(4𝑡) − 26.07cos 5𝑡 + 0.56sin(5𝑡)… http://satoken.nkmr.io/2015/Char2Fourier/convert.html

• http://satoken.nkmr.io/2015/Char2Fourier/convert.html

提案手法：概要 融合 文字認識「あ」 数式化 ቊ 𝑥1 = 𝑓1 (𝑡) 𝑦1 = 𝑔1 (𝑡) ቊ 𝑥1 = 𝑓1 (𝑡) 𝑦1 = 𝑔1 (𝑡) ቊ 𝑥3 = 𝑓3 (𝑡) 𝑦3 = 𝑔3 (𝑡) 手書き文字 データベース 1 : 2 : 3 : 4 : : 𝑥 = 𝑓2 𝑡 ቊ 2 𝑦2 = 𝑔2 (𝑡) 融合文字 : : ቊ 𝑥2 = 𝑓2 𝑡 𝑦2 = 𝑔2 (𝑡)

提案手法：概要 融合 文字認識「あ」 数式化 ቊ 𝑥1 = 𝑓1 (𝑡) 𝑦1 = 𝑔1 (𝑡) ቊ 手書き文字 データベース : 2 3 : 4 : : 𝑥 = 𝑓2 𝑡 ቊ 2 𝑦2 = 𝑔2 (𝑡) 融合文字 : 1 : 𝑥3 = 𝑓3 (𝑡) 𝑦3 = 𝑔3 (𝑡) :

平均化手法：手書き文字の融合 過去の手書き文字データ ( 𝜶 を0から1に設定) 平均化 +𝛼∗ (1 − 𝛼) ∗ 平均文字 = 入力した手書き文字 融合文字

平均化手法：自身の手書き文字 + +・・・+ N http://avgchar.nkmr.io/

• http://avgchar.nkmr.io/

実装 プロトタイプシステム: Mojirage - 平均手書きノート http://mojirage.com (Chrome推奨)

• http://mojirage.com/

実装

実装

利用テスト • 協力者：学生5人(21歳~23歳) • 機器：iPad Pro(12.9inch) & Apple Pencil • 内容：文章を4回模写し、自由記述アンケート • 文章：宮沢賢治作「ポラーノの広場」(一部) あのイーハトーヴォのすきとおった風、夏でも底に 冷たさをもつ青いそら、うつくしい森で飾られた モリーオ市、郊外のぎらぎらひかる草の波。 http://www.aozora.gr.jp/cards/000081/files/1935_19925.html

• http://www.aozora.gr.jp/cards/000081/files/1935_19925.html

アンケート結果：肯定的な意見 自身との融合 「平均化された漢字が特にバランスがよく，好きだった 」 他者との融合 「他者と融合することで，いつも上手く書けなかった文字も 納得いく文字になった」 先行研究と似た傾向 自身の平均文字で美しく/他者との融合文字に好感を抱く

アンケート結果：否定的な意見 自身との融合 「字のバランスなどの違いを感じなかった」 →安定した字を書く人にはあまり効果がない 不安定な場所なら効果がある？ 他者との融合 「形が崩れた」 書き順の違い 「融合相手が気に入らなかった」 選べる対象が少なかったから

利用テスト考察 利用回数が増えるほど，きれいな手書き文字に変換される 3回分 580回分

オープンキャンパスなどでの展示 明治大学オープンキャンパス 115名 イノベーションジャパン-大学見本市 約300名 「今後も使いたい」 「お礼状を書くときに使いたい」 「走り書きを自分のきれいな字にしてほしい」

応用例 • Scrapboxとの連携

システムの利用からの知見 ノートを取ると文字全体の字間に違和感

まとめ • 手書き文字を自身や他者と融合する手法を用いた ノートテイクを提案した • 利用テストよりシステムの有用性が示唆された 今後の予定 システムの改良 自他との融合文字できれいにノートやメモを とることができるかの実験 自身と他者の融合文字の使用頻度の調査 手書きノートの字間調査  http://mojirage.com

• http://mojirage.com/