崩れた手書き文字データセット構築と平均化による可読性向上の検証

崩れた手書き文字 データセット構築と 平均化による可読性向上の検証 二宮 洸太（明治大学総合数理学部 3年） 又吉 康綱，中村 聡史 第184回 HCI研究会 1

背景 日常生活でよく使う手書き文字 しかし， ・人によっては苦手 ・他人に見せることを躊躇う 2

背景 手書きに関する調査* 恥ずかしいと感じる 苦手意識がある 64.3% 58.0% *株式会社ゼブラ 2014，2015 3

背景 手書きに関する調査* 恥ずかしいと感じる 苦手意識がある 64.3% 58.0% 多くの人が手書きに コンプレックスをもっている 4

実際に文字が崩れるケース メモ書き ・急いで書く ・立ったまま ・電話しながら ・他の文書を見ながら 5

動機 崩れた文字を読めるように 支援したい 6

これまでの研究 平均化手法を用いた手書きの美化を行なってきた 平均化 数式化 文字A 𝑥 𝑦 = 𝑥1 𝑥𝑛 , … , 𝑦1 𝑦𝑛 手書きを点集合 として取得 𝑥 𝑦 = 𝑥1 𝑥1.1 𝑥1. 𝑚 𝑥𝑛 , , , … , 𝑦1 𝑦1.1 𝑦1. 𝑚 𝑦𝑛 𝑥 =𝑓 𝑡 𝑦 = 𝑔(𝑡) スプラインに フーリエ変換によって よって点を補完 ストロークを数式化 文字B 平 均 化 平均文字 7

これまでの研究 自身の平均文字は美しい [中村ら 2014] 複数の文字を平均化した平均文字は手書き文字よりきれい 他者との融合文字は好感度が向上 [斉藤ら 2016] 他者と融合すると好感度が高い Mojirage: 平均手書きノート [又吉ら 2017] 自身と他者との平均化によるきれいなノート作成アプリケーション 8

これまでの研究 利き手・非利き手の平均文字は類似 [佐藤ら 2018] 利き手・非利き手の文字は類似する この中で，非利き手で書いた文字が平均化によって きれいになることが示された 9

これまでの研究 利き手・非利き手の平均文字は類似 [佐藤ら 2018] 利き手・非利き手の文字は類似する この中で，非利き手で書いた文字が平均化によって きれいになることが示された これらは十分に読める文字での研究 10

これまでの研究 利き手・非利き手の平均文字は類似 [佐藤ら 2018] 利き手・非利き手の文字は類似する この中で，非利き手で書いた文字が平均化によって きれいになることが示された 崩れた文字に平均化は使えるのか？ 11

本研究の目的 崩れた手書き文字に対して平均化によって 可読性が向上するかを検証 崩れた文字同士を平均化して読めるようになるか 平 均 化 崩れた文字A 崩れた文字B ? 12

本研究の検証内容 (1) 平均化手法によって崩れた手書き文字を 可読化できるか (2) 平均化に際して，ユーザ間に相性はあるのか 14

本研究の概要 (1) 崩れた手書き文字のデータセットを構築 (2) データセットをもとに平均文字を作成 (3) 平均化前後を比較し，可読性を評価する実験 (4) 評価結果をもとに可読性と相性を検証 15

崩れた手書き文字データセット構築 崩れた手書き文字データを収集したい ・先行研究が見つからない ・通常通り書いても崩れない データセット構築手法を模索 崩れる状況を仮定し，検証 検証結果をもとに構築を行う 16

データセット構築の流れ (1) どのようにすれば文字が崩れるかを調べる， 予備実験を実施 (2) 予備実験の結果を踏まえて，本実験として データセットを構築する 17

予備実験 検証内容 (1) 用いる文字の検証 (2) 制限時間の検証 (3) 設定した環境でどのように文字が崩れるか 18

予備実験 文字の選定 漢字出現順位対応表(文化庁)を中心に50字選定 簡単すぎる文字は除く ex. 一，中，十 制限時間 画数に合わせて設定 急いで書けば，書き終えられる時間 19

実験設計 – 環境設定 立った状態 座った状態 手元を見ない状態 ＊データセット構築はペンタブ型端末を使用 20

データセット構築システム 文字を書いてもらい， 保存する シーケンスバーによって 時間を制限 21

予備実験 大学生12名(男性11名，女性1名) 合計600回 22

結果 – 予備実験 実際に得られた文字の例 立った かかえた 手元を見ない 23

結果 – 予備実験 実際に得られた文字の例 立った かかえた 手元を見ない 24

結果 – 予備実験 複雑な文字の方が崩れやすい シンプルな文字 複雑な文字 25

結果 – 予備実験 複雑な文字の方が崩れやすい シンプルな文字 複雑な文字 26

結果 – 予備実験 時間内に書ききれていない文字が散見された 27

結果 – 予備実験 時間内に書ききれていない文字が散見された 28

結果まとめ – 予備実験 ・手元を見ないが崩れやすい ・複雑な文字が崩れやすい ・制限時間内に書ききれていない場合がある 29

データセット構築本実験 予備実験の結果を踏まえ 条件を手元を見ないに限定 複雑な文字を中心に選定 時間遵守 → 書き終えるよう指示 → 制限時間内に書き始めた一画は有効とした 30

データセット構築本実験 ディスプレイを使用 手元を見ない方法の統一 筆跡は非表示 必要情報を常に提示 31

データセット構築本実験 ディスプレイを使用 手元を見ない方法の統一 提示情報 筆跡は非表示 ・制限時間 必要情報を常に提示 ・書く文字情報 ・タスクの進捗 32

データセット構築本実験 50字 × 2回を1セットとして5セット(500回) 使用した文字 私 他 場 新 現 時 気 年 書 最 的 会 家 度 身 者 思 長 戦 情 削 貝 国 意 野 事 学 動 通 教 見 部 理 屋 語 後 物 発 感 顔 前 恩 高 業 機 間 地 実 持 数 33

データセット構築本実験 大学生20名(男性10名，女性10名) 合計10,000個のデータを収集 最 野 顔 後 34

データセット構築本実験まとめ ・手元を見ない状態で書いた，崩れた文字 データセットを構築(10,000データ) ・複雑な文字が中心 35

評価実験 – 概要 ・平均化による可読性の向上を調べる ・2人のユーザの文字を平均化し，可読性を評価 「教」という文字です，読めますか？ 平 均 化 平均化前の文字 平均化相手の文字 平均文字 平均化前の文字 平均文字 36

評価実験 – 文字ユーザ 平 均 化 平均化前の文字 平均化相手の文字 平均文字 ・平均化前の比較元となる文字 ・userα(β)と平均化する相手 ・全20人の中から崩れ方が顕著な 2人を選択(userα，userβ) ・userα(β)自身を除く19人 37

評価実験 文字 崩れ方が顕著な6文字を使用 教，業，実，場，度，動 38

評価実験 – 平均化 合計237種の平均文字が作成 1文字につき10種を選定 合計120種を使用 39

平均化前の文字 userα userβ 42

評価実験 – 平均文字の一例 userα userβ 44

評価実験 大学生14名(男性7名，女性7名) 平均化前後の文字を上下に配置 何の文字かを提示し，4択で評価 47

結果 – 評価実験 平均化後だけ読める → 可読性が向上 可読性が向上したと判断された文字数 120データ中 115 データ 48

結果 – 評価実験 平均化後だけ読める → 可読性が向上 可読性が向上したと判断された文字数 120データ中 115 データ 平均化によって可読性が向上 49

可読性が向上した文字の例 51

考察 – ユーザ間相性調査 2人のユーザの文字を平均化した 平 均 化 userα(β)の文字 平均化相手の文字 平均文字 53

考察 – ユーザ間相性調査 2人のユーザの文字を平均化した 平 均 化 userα(β)の文字 平均化相手の文字 このようなユーザ間に相性があるか検証 平均文字 54

考察 – ユーザ間相性調査 可読化割合(R)を定義 平均化後のみ読めると判断した人数（人） 𝑅= (0 ≤ 𝑅 ≤ 1) 平均化前読めないと判断した人数（人） *ただし分母が0より大きいデータに限定 1に近いほど多くの人が読めるようになったと判断 55

考察 – ユーザ間相性調査 表は分母が10人以上のデータのみ 平 均 化 前 の 文 字 ユ | ザ 平均化相手の文字ユーザ userA userα 0.211 userβ 0.548 userK userα userβ データ 不足 0.188 userC データ 不足 0.519 userM 0.478 データ 不足 userD 0.357 データ 不足 userN 0.200 0.636 userE userF userI 0.195 0.146 0.297 0.449 0.395 0.443 userO 0.190 データ 不足 userP 0.100 データ 不足 userQ userJ 0.160 データ 不足 userR 0.143 0.470 0.500 0.650 56

考察 – ユーザ間相性調査 表は分母が10人以上のデータのみ 平 均 化 前 の 文 字 ユ | ザ 平均化相手の文字ユーザ userA userα 0.211 userβ 0.548 userK userα userβ データ 不足 0.188 userC データ 不足 userD 0.357 userE 0.195 userF 0.146 0.449 0.395 0.519 データ userRはuserα，β 不足 どちらとも高い userM userN userO userP 0.478 データ 不足 0.200 0.636 0.190 データ 不足 0.100 データ 不足 userI 0.297 0.443 userQ userJ 0.160 データ 不足 userR 0.143 0.470 0.500 0.650 58

userRとの平均文字の例 平 均 化 userα userR 平 均 化 userβ userR 59

考察 – ユーザ間相性調査 可読化割合が高いものが観測された ユーザ間に相性がある可能性が 示唆された 60

検証結果 (1) 平均化手法によって崩れた手書き文字を 可読化できるか 可読化できる (2) 平均化に際して，ユーザ間に相性はあるのか 相性が示唆された 61

読めるようにならなかったもの 可読化できなかったものもある 業 実 度 62

展望 – 筆談アプリへの応用 崩れた文字は平均化によって可読化できる 崩れた文字を可読化するアプリケーションの実装 筆談 聴覚障害者の方が多く用いる ・タイピングではなく手書きを見せたい ・崩れた手書きは恥ずかしい 64

まとめ ・崩れた文字データセットを構築した ・崩れた文字は平均化によって可読性が向上する ・ユーザ間の相性が示唆された 平 均 化 65