ひとを騙す手書き自動生成手法の提案と実装

ひとを騙す手書き自動生成手法 の提案と実装 田村 洸希 （早稲田大学基幹理工学部2年） 中村 聡史 （明治大学）

背景 手書きが必要となる場面↓ ・手紙 ・年賀状 ・履歴書 ・レポート 一方で、 手書きが苦手なひとは多い！

関連研究 • ひととロボットの協調による 手書き文字美化手法[亀田 2018] ↓ 毎回異なる文章を 異なる文字の形で 記述させるのには向いていなかった

均一的で機械が 書いたとバレてしまう

本研究の目的 ひとを騙すことができる 手書き文字代筆手法を提案・実装する

「ひとの手書き」 と感じる要因 機械っぽい ひとっぽい 線の太さが均一 はね・はらいがない 線の太さにゆらぎがある はね・はらいがある 文字 同一の文字でゆらぎがない 同一の文字でもゆらぎがある 文字群 字幅が一定 文字のバランスがおかしい 字幅にゆらぎがある 文字のバランスがある インクのかすれがない 直線的な痕跡 筆圧による紙の凹み インクのかすれ ストローク 紙に残された 痕跡

提案手法 １ 手書き文字の数式化 はじめに 手書き文字の 各ストロークを数式で 表現する 文字どうしの 足し合わせが可能になる 𝑥 = 𝑓𝑖,𝑗 (𝑡) ൞ −𝜋 ≤𝑡 ≤𝜋 𝑦 = 𝑔𝑖,𝑗 (𝑡)

手書き文字の加重平均化 0.2 0.8 0.4 0.6 0.6 0.4 0.8 0.2 0.4 0.6 0.2 0.8 提案手法 １

提案手法 １ 手書き文字の加重平均化 これで文字の形に ゆらぎをつけられる？ どれもほとんど同じ形・・・ 一般的な 加重平均化では ゆらぎが生じにくい！ ランダムな割合で生成されたもの

改良型の加重平均化 0.2 0.8 0.6 0.4 0.6 0.4 0.8 0.2 0.4 0.2 0.6 文字の重み（融合度）を 負の値 から 1を超える値 までを とれるように拡張 0.8 提案手法 ２

生成された文字の ゆらぎが大きい！ 改良型の 加重平均化により ひとの手書きの ゆらぎを再現 この手法で本当に ひとを騙せるのか検証→ ランダムな割合で生成されたもの

評価実験 〜目的〜 改良型加重平均化手法を利用すると 機械で同じ文字を並べて書いても 見抜かれない？

評価実験 〜概要〜 １．手書きのデータセットの構築 ２．自動生成した手書きとオリジナルの手書きの判別

評価実験 〜１．手書きデータセットの構築〜 文字登録アプリケーションを開発 「ひ」「ら」「が」「な」「カ」「タ」 「名」「漢」「字」の9文字を 10回ずつ書いてもらう 書き順などに間違いがない ４人のデータを実験に利用

評価実験 〜２．自動生成された手書きとオリジナルの判別〜 オリジナルの手書き １０個 ５つをランダムに選択 ３つをランダムに選択し ５つの手書きを自動生成

評価実験 〜２．自動生成された手書きとオリジナルの判別〜 実験協力者に 「“ひと”が書いたオリジナルの手書き文字はどちらか」 を判定してもらった どっちがひとが書いたオリジナルの手書き・・・？ 実験協力者

評価実験 〜２．自動生成された手書きとオリジナルの判別〜 Webシステムを用い11人の実験協力者は 4人分 × 9種類の文字 × 10パターン ＝ 360問に回答

実験結果 〜ひとがオリジナル手書きを見抜いた正解率〜 100 90 正解率[%] 80 70 60 50 50 平均で５９.１％の割合で 40 ひとの手書きと判別できた 30 20 10 0 A B C D E F G H I J K 平均

実験結果

実験結果 〜文字ごとの正解率〜 100 90 正解率 [%] 80 70 60 50 40 30 20 10 0 ひ ら が な カ タ 名 漢 字

実験結果 〜正解率の変化〜 1回目に比べ 10回目は正解率が高い

簡易比較 〜実際に出力したものは判定可能か？〜 機械によって紙に書かせた手書き文字と、 ひとが書いたオリジナルの手書き文字を判別してもらう

1つのサンプルについての比較 ひとの手書き 機械による手書き

1つのサンプルについての比較 15人中4人には簡単に見破られた

正解提示後に得られたフィードバック • 機械で書いた方は「はね・はらい」が全く なくて線の太さが一定なのがわかる 今後、筆圧を微調整にし、筆圧データも反映 • ひとの手書きよりも機械による手書きの 方が文字に丸みがある。 平均化によって角が取れた影響

考察 かなり厳しい条件で５９％の正解率 ・ 実際には同じ文字が並ぶことは少ない ・ 崩れた文字を除去すると正解率は下がると期待

考察 手書き文字データセットを作るのが困難 → ノートなどをスキャンして生成する手法を検討

考察 文章への適用に向けた検討 ・ 文字ごとのバランス （漢字＞ひらがな） ・ 文字幅や字幅 （等幅等間隔ではない） ・ 書く方向のゆらぎなど 将来的には 「むだな手書レポート」を絶滅させる

まとめ ・手書き文字の数式化と改良型の加重平均化により、 ひとを騙す手書き自動生成手法を提案 ・そのひとらしさを保ちつつ、厳しい条件で正解率５９.１％ ・機械により紙に書いた手書きも見破るのは難しい？ ー 今後の課題 ー ・データセット構築を容易にするオフライン文字の数式化手法の利用 ・「はね・はらい」など文字の細部の特徴を再現するハード面の改良