ひとの評価にあった手書き文字の類似度評価手法の提案（HCI181）

≒ ひとの評価にあった 手書き文字の 類似度評価手法の提案 新納真次郎（明治大学大学院 M2） 中村聡史 鈴木正明 小松孝徳（明治大学） 2018.01.22 HCI181研究会発表

本研究の貢献 l どちらが “似ている” 文字だと思いますか？ A B

本研究の貢献 l どちらが “似ている” 文字だと思いますか？ A 本研究では このような ひとが思う文字の “似ている” B の定量化を可能にしました！

背景 - 手書き研究の取り組み l 手書きをよりよくするために特性の解明や 支援を行う研究は多くある 例1）手書きの美麗性の評価 [Park 2005][小林 2016] 例2）手書きの美麗化 [Matayoshi 2018]

背景 - 手書き研究の取り組み l 平均文字は綺麗 [中村 2014] ひとの文字を平均化すると綺麗であると評価される いろいろなひとの文字を平均化するとさらに綺麗であ ると評価される 平均 平均文字

これまでの取り組み❶ l 平均図形も綺麗 [Niino 2017] 図形においても平均化すると綺麗であると評価される 平均化してブレを無くせば，非利き手で書いたものも 利き手で書いたものに似ていくことを明らかに！

主観による類似性評価 8人の利き手・非利き手の平均図形の類似性を調査する評価実験

主観評価のコストの問題 l 書き手の人数が20人に増えると…？ l ひらがな文字50音において同じことを検証す ると…？ l 何回で十分に類似するかを検証すると…？ こういったものを全て人手で行うと 非常にコストがかかる！

これまでの取り組み❷ l 定量的な評価による利き手・非利き手の 平均文字の類似性の検証 [佐藤 2017] 点列のユークリッド距離を計算することで類似性を検証 ひらがな50音について調査 Dist = 13.78px

座標の近さ＝類似度？ l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった

座標の近さ＝類似度？ l ユークリッド距離だけでは、文字の曲がり 度合いやバランスなどといった要素の類似 度は評価できていなかった

本研究の目的 新たにひとの手書き文字の捉え方を 考慮した類似度評価手法の提案 l いくつか類似に関する特徴量を用意して、 ひとはどの特徴に重みを置いているのかを調査 l これまでの平均手書きに関する分析研究に適用

提案手法 l 主観的な類似度といくつかの指標に基づい た定量的な類似度を照らし合わせて、ひと が感じる文字の類似度を定式化！

提案手法 – 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - ❶類似度データセットの構築 l 似ている文字と似ていない文字を集める 形容詞対 全く 似ていない 似ていない あまり 似ていない 少し 似ている 似ている 非常に 似ている 評価値 −5 −3 −1 ＋1 ＋3 ＋5

提案手法 - ❶類似度データセットの構築 l 比較に使う文字 10名の10回ずつ書いてもらったひらがなデータを使用 ひらがな50音のうち20文字を選定 あるユーザの4回目とあるユーザの5回目の文字を比較 A B A J 4 5

提案手法 - ❶類似度データセットの構築 l 1文字につき18名以上の評価データを収集 -5（低い） 4 A B C D E F G H I J A 3.29 -0.33 2.14 -1.00 -0.05 1.29 -1.76 -0.24 -0.52 -2.62 B 0.33 3.38 1.10 2.71 -0.91 1.76 -2.33 -0.24 -1.10 -2.71 C 1.38 0.14 3.76 0.24 1.19 2.81 -1.19 -0.05 -0.24 -2.71 D -1.57 0.81 -1.76 3.86 -2.33 -1.67 -2.52 -3.10 -1.95 -3.67 5 E 1.00 0.43 0.52 -1.00 2.20 0.52 -2.05 0.43 -0.52 -2.14 F -0.05 1.10 3.10 -0.43 -2.14 3.67 -2.71 -0.91 -0.24 -3.29 G -1.86 -3.00 -1.57 -2.14 -2.14 -2.43 3.38 -1.57 -0.14 -3.19 H -0.14 0.91 0.33 -2.24 -0.81 2.52 -1.95 3.38 -1.19 -2.81 類似度 I 0.05 -2.14 -1.19 -1.29 -2.52 -1.76 -1.29 -1.95 1.29 -2.14 +5（高い） J -3.48 -3.76 -3.67 -3.76 -3.76 -4.05 -3.29 -3.67 -3.76 4.14

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素： 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比 0.8 1.2 1 1

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比・重心の距離

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比・重心の距離・バランス

提案手法 - ❷あらゆる要素の類似度算出 l ひとは何をもって文字を似ていると思うか？ 各ストロークの要素：ユークリッド距離・曲がり度合い・ 長さ・面積 文字全体の要素：縦横比・重心の距離・バランス

提案手法 - ❷あらゆる要素の類似度算出 !"#$%& :

ユークリッド距離

!1'/,$&2 :

重心座標の距離

!%#'()"#$%& :

ストロークごとの
ユークリッド距離

!/3"-*& :

縦横比の類似度

!*+',- :

!./0/%*- :

曲率グラフの差

!3&'#4-)/3"-*& :
ストロークごとの
縦横比の類似度

バランスの類似度

!0-%1&5 :

!/'-/ :

ストロークの
面積の類似度

ストロークの
長さの類似度

67
!0-%1&5 = 67 /68

68

提案手法 - 流れ ❶ 主観的な類似度データセットの構築 ❷ 定量的にいくつかの指標の類似度を算出 ❸ ❶と❷を照らし合わせて類似度評価式を導出

提案手法 - ❸類似度評価式の導出 l 以下の重回帰分析を行なう

目的変数：人手によって構築された
類似度評価値の平均値
従属変数：定量的に算出された各指標の類似度

l 重み !" ~!$ と切片%にあたる部分を求める
&'(')*+',- &./+0 = 23 ×56/'7, + 29 ×57/+(:6/'7, + 2; ×5.<+=0
+ 2> ×5)07?,@ + 2A ×5*+0* + 2B ×5?+*=',- +
+ 2C ×5*D60., + 2E ×5D,+/F0:*D60., + 2G ×5H*)*7.0 + H

類似度評価式の導出結果
l 1画の場合：
!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合：
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#B5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*C+B%A5+)' − 0. 7-/×4D%$%6)+

評価式の当てはまり具合
l 1画の場合：

決定係数 RC = 0.76

!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合： 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+

評価式の当てはまり具合
l 1画の場合：

決定係数 RC = 0.76

!"#"$%&"'( !)*&+ = -. /-0 − 0. 0/2×45*"6' −7. -28×4)9&:+
− ;. ;0<×4$+6='> − ;. <?@×4%&+%
−0. 078×4=&%:"'( − ;. 8?0×4%A5+)'

l 2画以上の場合： 決定係数 RC = 0.82
!"#"$%&"'( !)*&+ = -. <0@ − 0. 0?@ ×45*"6'

−0. 0;<×46*&#G5*"6' −/;. ?;<×4)9&:+
−0. 7-/×4$+6='> − 0. ;87×4%&+%
−0. 07<×4=&%:"'( − ;. 2<;×4%A5+)'
−0. ;<<×4A'&*H+G%A5+)' − 0. 7-/×4I%$%6)+

類似度評価の算出例 A 84% B 37%

手書き特性の再検証 今回の類似度評価手法を用いて以下の 平均手書き文字の特性を再検証 ❶平均文字の収束性 ❷利き手・非利き手平均文字の類似性 l 図形においても適用してみる

❶平均文字の収束性 l 一定数平均を取ればある形に収束するという 仮説を検証 l つまり10回書かれた文字があった場合、 偶数回目に書かれた5回分の文字の平均 ＝奇数回目に書かれた5回分の文字の平均 になるはず l ユーザごとに偶数平均文字と奇数平均文字の 類似度を比較することで検証

-5 +5

結果：❶平均文字の収束性 l ひらがな全てにおいて、平均99.5%という 高精度で自身の偶数平均文字と奇数平均文字 が一致していた l 一致していなかったものも書き順の違いなど による影響だった l 平均文字は収束することが明らかになり、 5回ほどでも十分に収束することがわかった

❷利き手・非利き手平均文字の類似性 l利き手と非利き手の平均文字は類似す るかを検証 lユーザごとの利き手平均文字と非利き 手平均文字の類似度を比較する

-5 +5

結果：❷利き手・非利き手平均文字の類似性 l ひらがな全てにおいて、平均51.4%という 精度で自身の利き手平均文字と非利き平均 文字が一致していた ランダムに選択した時の一致率：10% l ランダムに選択した際の一致率よりはかなり 高いがそれほどいい精度ではなかった

考察 l 文字における利き手平均と非利き手平均の 一致率が低かったことに対する考察 利き手と非利き手で書く文字はすこし傾きが違う？ 今回の手法ではその傾きが考慮できていなかった

-5 +5

-5 +5 12 93.1% 6

今後の課題 l 有用性を示すための精度検証 提案手法による類似度評価が、本当にひとの 評価と一致したものになっているか？の検証 （交差検定などで精度評価の実施予定） ベースライン手法であるユークリッド距離による 評価との比較実験の実施 l精度の向上 傾きなどの他の類似要素の追加 類似度評価データの改善

まとめ 背景 手書き文字を定量的に扱うことで 手書きをよりよくする研究が存在 目的 ひとの手書き文字の捉え方を考慮した類似度 評価手法の提案をし、手書きの特性解明に応用！ 提案手法 主観的な類似度といくつかの指標に基づいた 定量的な類似度を照らし合わせて、ひとが感じる 文字の類似度を定式化 手書きの特性 解明への適用 平均文字の収束性や 利き手・非利き手平均文字の類似性を明らかに！ 今後の課題 l 類似度評価データセットの改善や傾きなどの他の 指標の追加による精度の向上 l 精度評価実験の実施