ひとの文字の捉え方を考慮した手書き類似度評価手法の提案と応用

≒ ひとの文字の捉え方を 考慮した手書き類似度評価 手法の提案と応用 新納真次郎 （先端メディアサイエンス専攻 2722172004 中村聡史研究室） 2019.02.01 修士論文発表会

本研究の貢献 l どちらが “似ている” 文字だと思いますか？ A B

本研究の貢献 l どちらが “似ている” 文字だと思いますか？ A 本研究では このような ひとが思う文字の “似ている” B の定量化を可能にしました！

背景 - 手書き研究の取り組み l 手書きをよりよくするために特性の解明や 支援を行う研究は多くある 例1）手書きの美麗性の評価 [Park 2005][小林 2016] 例2）手書きの美麗化 [Matayoshi 2018]

背景 - 手書き研究の取り組み l 平均文字は綺麗 [中村 2014] ひとの文字を平均化すると綺麗であると評価される いろいろなひとの文字を平均化するとさらに綺麗であ ると評価される 平均 平均文字

これまでの取り組み❶ l 平均図形も綺麗 [Niino 2017] 図形においても平均化すると綺麗であると評価される 平均化してブレを無くせば，非利き手で書いたものも 利き手で書いたものに似ていくことを明らかに！

主観による類似性評価 8人の利き手・非利き手の平均図形の類似性を調査する評価実験

主観評価のコストの問題 l 書き手の人数が20人に増えると…？ l ひらがな文字50音において同じことを検証す ると…？ l 何回で十分に類似するかを検証すると…？ こういったものを全て人手で行うと 非常にコストがかかる！

これまでの取り組み❷ l 定量的な評価による利き手・非利き手の 平均文字の類似性の検証 [佐藤 2017] 点列のユークリッド距離を計算することで類似性を検証 ひらがな50音について調査 Dist = 13.78px

座標の近さ＝類似度？ l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった

座標の近さ＝類似度？ l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった

本研究の目的 新たにひとの手書き文字の捉え方を 考慮した類似度評価手法の提案 l いくつか類似に関する特徴量を用意して、 ひとはどの特徴に重みを置いているのかを調査 l これまでの平均手書きに関する分析研究に適用

提案手法 l 主観的な類似度といくつかの指標に基づい た定量的な類似度を照らし合わせて、ひと が感じる文字の類似度を定式化！

提案手法 – 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - ❶類似度データセットの構築 l 似ている文字と似ていない文字を集める 形容詞対 全く 似ていない 似ていない あまり 似ていない 少し 似ている 似ている 非常に 似ている 評価値 −5 −3 −1 ＋1 ＋3 ＋5

提案手法 - ❶類似度データセットの構築 l 比較に使う文字 10名の10回ずつ書いてもらったひらがなデータを使用 ひらがな50音のうち20文字を選定 あるユーザの4回目とあるユーザの5回目の文字を比較 A B A J 4 5

提案手法 - ❶類似度データセットの構築 l 1文字につき18名以上の評価データを収集 -5（低い） 4 A B C D E F G H I J A 3.29 -0.33 2.14 -1.00 -0.05 1.29 -1.76 -0.24 -0.52 -2.62 B 0.33 3.38 1.10 2.71 -0.91 1.76 -2.33 -0.24 -1.10 -2.71 C 1.38 0.14 3.76 0.24 1.19 2.81 -1.19 -0.05 -0.24 -2.71 D -1.57 0.81 -1.76 3.86 -2.33 -1.67 -2.52 -3.10 -1.95 -3.67 5 E 1.00 0.43 0.52 -1.00 2.20 0.52 -2.05 0.43 -0.52 -2.14 F -0.05 1.10 3.10 -0.43 -2.14 3.67 -2.71 -0.91 -0.24 -3.29 G -1.86 -3.00 -1.57 -2.14 -2.14 -2.43 3.38 -1.57 -0.14 -3.19 H -0.14 0.91 0.33 -2.24 -0.81 2.52 -1.95 3.38 -1.19 -2.81 類似度 I 0.05 -2.14 -1.19 -1.29 -2.52 -1.76 -1.29 -1.95 1.29 -2.14 +5（高い） J -3.48 -3.76 -3.67 -3.76 -3.76 -4.05 -3.29 -3.67 -3.76 4.14

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素： 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比 0.8 1.2 1 1

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比・重心の距離

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比・重心の距離・バランス

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比・重心の距離・バランス

提案手法 - ❷あらゆる要素の類似度算出 !"#$%& :

ユークリッド距離

!1'/,$&2 :

重心座標の距離

!%#'()"#$%& :

ストロークごとの
ユークリッド距離

!/3"-*& :

縦横比の類似度

!*+',- :

!./0/%*- :

曲率グラフの差

!3&'#4-)/3"-*& :
ストロークごとの
縦横比の類似度

バランスの類似度

!0-%1&5 :

!/'-/ :

ストロークの
面積の類似度

ストロークの
長さの類似度

67
!0-%1&5 = 67 /68

68

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - ❸類似度評価式の導出 l 以下の重回帰分析を行なう

目的変数：人手によって構築された
類似度評価値の平均値
従属変数：定量的に算出された各指標の類似度

l 重み !" ~!$ と切片%にあたる部分を求める
&'(')*+',- &./+0 = 23 ×56/'7, + 29 ×57/+(:6/'7, + 2; ×5.<+=0
+ 2> ×5)07?,@ + 2A ×5*+0* + 2B ×5?+*=',- +
+ 2C ×5*D60., + 2E ×5D,+/F0:*D60., + 2G ×5H*)*7.0 + H

類似度評価式の導出結果
l 1画の場合：
!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合：
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#B5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*C+B%A5+)' − 0. 7-/×4D%$%6)+

評価式の当てはまり具合
l 1画の場合：

決定係数 RC = 0.76

!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合： 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+

評価式の当てはまり具合
l 1画の場合：

決定係数 RC = 0.76

!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合： 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+

類似度評価の算出例 A 84% B 37%

手書き特性の再検証 今回の類似度評価手法を用いて以下の 平均手書き文字の特性を再検証 ❶平均文字の収束性 ❷利き手・非利き手平均文字の類似性 l 図形においても適用してみる

❶平均文字の収束性 l 一定数平均を取ればある形に収束するという 仮説を検証 l つまり10回書かれた文字があった場合、 偶数回目に書かれた5回分の文字の平均 ＝奇数回目に書かれた5回分の文字の平均 になるはず l ユーザごとに偶数平均文字と奇数平均文字の 類似度を比較することで検証

-5 +5

結果：❶平均文字の収束性 l ひらがな全てにおいて、平均99.5%という 高精度で自身の偶数平均文字と奇数平均文字 が一致していた l 一致していなかったものも書き順の違いなど による影響だった l 平均文字は収束することが明らかになり、 5回ほどでも十分に収束することがわかった

❷利き手・非利き手平均文字の類似性 l利き手と非利き手の平均文字は類似す るかを検証 lユーザごとの利き手平均文字と非利き 手平均文字の類似度を比較する

-5 +5

結果：❷利き手・非利き手平均文字の類似性 l ひらがな全てにおいて、平均51.4%という 精度で自身の利き手平均文字と非利き平均 文字が一致していた ランダムに選択した時の一致率：10% l ランダムに選択した際の一致率よりはかなり 高いがそれほどいい精度ではなかった

考察 l 文字における利き手平均と非利き手平均の 一致率が低かったことに対する考察 利き手と非利き手で書く文字はすこし傾きが違う？ 今回の手法ではその傾きが考慮できていなかった

-5 +5

-5 +5 12 93.1% 6

まとめ 背景 手書き文字を定量的に扱うことで 手書きをよりよくする研究が存在 目的 ひとの手書き文字の捉え方を考慮した類似度 評価手法の提案をし、手書きの特性解明に応用！ 提案手法 主観的な類似度といくつかの指標に基づいた 定量的な類似度を照らし合わせて、ひとが感じる 文字の類似度を定式化 手書きの特性 解明への適用 平均文字の収束性や 利き手・非利き手平均文字の類似性を明らかに！ 今後の課題 l 類似度評価データセットの改善や傾きなどの他の 指標の追加による精度の向上 l 精度評価実験の実施

各要素の類似度の重要度

評価データセット構築の工夫

応用可能性❶ l お手本との違いを明示する 手書き練習システム お手本と異なる部分を客観視 日々の上達度合いも可視化可能 l 自動筆跡鑑定 どのユーザのサンプル文字（ある いは平均文字）と最も類似するか 似ている文字でソートすることも可 80%

今後の課題 l 有用性を示すための精度検証 提案手法による類似度評価が、本当にひとの 評価と一致したものになっているか？の検証 （交差検定などで精度評価の実施予定） ベースライン手法であるユークリッド距離による 評価との比較実験の実施 l精度の向上 傾きなどの他の類似要素の追加 類似度評価データの改善