親指の長さがスマートフォンの操作に及ぼす影響の調査と親指の長さの自動推定手法の検討

親指の長さがスマートフォンの 操作に及ぼす影響の調査と 親指の長さの自動推定手法の検討 梶田美帆（明治大学3年） 中村聡史 阿部和樹（明治大学） 山中祥太（ヤフー株式会社）

目次 •本研究の背景・目的 •データセット構築 •親指の長さの影響の調査 •親指の長さの自動推定手法の検討 •考察 •まとめ 2

背景・目的

背景 •スマートフォンは多機能であり生活に 欠かせない •長く使ううえで性能や使いやすさが重要 •使いにくいとユーザが離れていく！ 4

問題のあるUIが登場する理由 •開発者は熟練により問題に気づきにくい •使いやすさを評価するのは容易でない •使いやすさの基準は個人により異なる 5

UIの自動評価・修正 •使いづらいUIはユーザ離れの一因となる •開発者はユーザが使いにくさを感じる 箇所を知る必要がある •使いにくい場合ユーザごとにUIの変更 6

我々の過去の研究 •スマートフォン操作中のセンサ情報収集 •ユーザが容易・容易でない箇所のどちら を操作しているかを機械学習により推定 [梶田 2019] 7

我々の過去の研究 •スマートフォン操作中のセンサ情報収集 •ユーザが容易・容易でない箇所のどちら を操作しているかを機械学習により推定 [梶田 2019] 個人の特性は考慮できていない 8

操作性に影響する個人の特性 •把持方法 •手の大きさ 9

関連研究 •把持方法の推定にまつわる研究 -遠くにあるターゲットの操作時 スマートフォンの回転量が増える [Eardley, R. 2017] •手の大きさと操作性の関係 -指の長さと操作カバー範囲が比例 [Le, H. V. -親指が長い人は画面の一部に到達不可能 2018] [Xiong, J. 2016] 10

関連研究 •把持方法の推定にまつわる研究 -遠くにあるターゲットの操作時 スマートフォンの回転量が増える[Rachel 2017] 指の長さは使いやすさに影響する！ •手の大きさと操作性の関係 -指の長さと操作カバー範囲が比例 [Le 2017] -親指が長い人は画面の一部に到達不可能 [Xiong 2018] 11

個人の指の長さを把握した設計 開発者はユーザ個人にとって 使いやすいUIを設計可能 ユーザにとって情報の入力は手間 12

個人の指の長さを把握した設計 開発者はユーザ個人にとって 使いやすいUIを設計可能 ユーザにとって情報の入力は手間 指の長さをユーザが操作している 最中に自動で推定したい！ 13

研究の目的 片手把持における、操作に用いる 親指の長さを、ユーザの操作時の 振る舞いから自動推定する手法の検討 14

アプローチ 1. データセット構築 ユーザのUI操作時のセンサ情報を収集 2. 分析 親指の長さが操作性に与える影響の調査 3. 指の長さの推定 機械学習やパターンマッチングによって 指の長さを自動推定できるか検討 15

アプローチ 1. データセット構築 ユーザのUI操作時のセンサ情報を収集 2. 分析 親指の長さが操作性に与える影響の調査 3. 指の長さの推定 機械学習やパターンマッチングによって 指の長さを自動推定できるか検討 16

データセット構築

指の長さの自動推定に有用な情報 •操作位置 •操作間にかかる時間 •動作の種類 •正確さ・操作ミス 18

データセット収集システム モグラたたきタスク •3種類のオペレーションについて ユーザの操作とセンサ情報を収集 •操作と操作の間のセンサ情報と 同操作間にかかった時間を取得 GalaxyS8 （149mm×68mm） 19

モグラたたきの設定 •モグラは1匹ずつ出現 •正しい操作で消え、次のモグラが出現 •左向き・正面向き・右向き３種類 20

モグラたたきの設定 •モグラは1匹ずつ出現 •正しい操作で消え、次のモグラが出現 •左向き・正面向き・右向き３種類 右スワイプ 左スワイプ タップ 21

データセット収集のための設計 •28マス×3方向=84回で1セット •10セットを休憩をはさみつつ実施 •右手で把持・親指限定 22

実際の操作画面 23

データセット構築 •対象：28人（男性12人、女性16人） 5 人数 4 3 2 1 0 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 親指の長さ[mm] 24

アプローチ 1. データセット構築 ユーザのUI操作時のセンサ情報を収集 2. 分析 親指の長さが操作性に与える影響の調査 3. 指の長さの推定 機械学習やパターンマッチングによって 指の長さを自動推定できるか検討 25

親指の長さの影響の調査 26

親指の長さによる影響の仮説 •親指の長さは連続する操作に影響 •指の長さによって操作しやすい距離が 存在する 27

親指の長さによる実験者の分類 5 4 3 人数 •Short 10名 48mm～53mm •Middle 9名 54mm～56mm •Long 9名 59mm～62mm 2 1 0 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 親指の長さ[mm] 28

ターゲット距離 ターゲットのモグラと 次ターゲットのモグラの ユークリッド距離 (1.0～6.7) dist = 1 1＜dist≦2 2＜dist≦3 3＜dist≦4 4＜dist≦5 5＜dist≦6 6＜dist≦7 29

ターゲット距離 ターゲットのモグラと dist = 1 指の長さによって操作しやすい距離が 次ターゲットのモグラの 1＜dist≦2 2＜dist≦3 ユークリッド距離 存在する 3＜dist≦4 (1～6.71) 4＜dist≦5 5＜dist≦6 6＜dist≦7 30

ターゲット距離と操作時間の相関の調査 指の長さのグループごとにターゲット 距離と操作時間分散と平均を算出 データ数 •short ：8,135件 •middle ：7,308件 •long ：7,425件 (例外処理：3sd) 31

ターゲット距離と操作時間の相関の調査 指の長さのグループごとにターゲット 距離と操作時間分散と平均を算出 データ数 操作時間に個人差 •short ：8,135件 •middle ：7,308件個人のデータを正規化 •long ：7,425件 (例外処理：3sd) 32

ターゲット距離ごとの操作時間変化 各実験協力者のターゲット距離ごとの 操作時間を変位で正規化 例：実験協力者Aさん 平均操作時間 変位 1<d≦7 1.38 ０ 1＜d≦2 1.34 －0.04 33

ターゲット距離ごとの操作時間変化 操作時間平均を変位0としたときの ターゲット距離に応じた 操作時間の変位を示す short middle long 34

ターゲット距離ごとの操作時間変化 short middle long 35

ターゲット距離ごとの操作時間変化 単調増加 short middle long 36

ターゲット距離ごとの操作時間変化 一定or減少 short middle long 37

ターゲット距離ごとの操作時間変化 減少 short middle long 38

ターゲット距離ごとの操作時間変化 単調増加 一定or減少 short middle 減少 long 39

ターゲット距離ごとの操作時間変化 指の長さごとに操作しやすい距離が 存在する！ short middle long 40

考察：親指の長さの操作への影響 指の長さごとに操作しやすい距離が 存在する！ 同距離の操作でも操作時間・操作の やりにくさが異なる 41

アプローチ 1. データセット構築 ユーザのUI操作時のセンサ情報を収集 2. 分析 親指の長さが操作性に与える影響の調査 3. 指の長さの推定 機械学習やパターンマッチングによって 指の長さを自動推定できるか検討 42

親指の長さ推定

ここまでの結果より •親指の長さをもとにshort・middle・ longの3つのグループに分けた •各グループにおいてターゲット距離と 操作時間に特徴が見られた 44

ここまでの結果より •親指の長さをもとにshort・middle・ longの3つのグループに分けた 画面上の異なる2点間の操作において 親指の長さにより特徴的な動きが •各グループにおいてターゲット距離と 操作時間に特徴が見られた 存在する可能性 45

親指の長さの推定手法 •機械学習： センサ情報から、親指の長さがshort・ middle・longどのグループに存在するか 推定する3値分類 •パターンマッチング： 操作時間などの特徴分析による推定 46

親指の長さの推定手法 •機械学習： 推定精度58％ センサ情報から、親指の長さがshort・ （期待値33%） middle・longどのグループに存在するか 推定する3値分類 精度が十分ではない •パターンマッチング： 操作時間などの特徴分析による推定 47

親指の長さの推定手法 •機械学習： センサ情報から、親指の長さがshort・ middle・longどのグループに存在するか 推定する3値分類 •パターンマッチング： 操作時間などの特徴分析による推定 48

ターゲット距離ごとの操作時間変化 単調増加 一定or減少 short middle 減少 long 49

個人の操作時間変化 操作時間をもとにした推定により 指の長さを高精度に推定できる！ 50

操作時間の特徴を利用した推定 6＜dist≦7での変位が 5＜dist≦6より 減少 long 増加 4＜dist≦5の変位と 5＜dist≦6の変位の差の 値が閾値より 小 middle 大 short 51

52

53

操作時間の特徴を利用した推定 6＜dist≦7での変位が 5＜dist≦6より 9/9人 減少 long 増加 4＜dist≦5の変位と 5＜dist≦6の変位の差の 値が0.04より 9/9人 小 middle 大 7/10人 short 54

操作時間の特徴を利用した推定 高い割合で推定できた 要求される操作回数： 84 パターン×10試行の合計840回 少ない操作回数で推定可能か？ 55

考察

考察 親指の長さが操作に及ぼす影響 -ターゲット距離が近いと親指の長い人ほど 時間がかかる -指の長さによって適切な操作距離が存在 指の長さの推定手法 -センサ情報による機械学習 -操作時間によるパターンマッチング 57

考察 親指の長さが操作に及ぼす影響 -ターゲット距離が近いと親指の長い人ほど 時間がかかる -指の長さによって適切な操作距離が存在 指の長さの推定手法 -センサ情報による機械学習 -操作時間によるパターンマッチング 58

考察 親指の長さが操作に及ぼす影響 -ターゲット距離が近いと親指の長い人ほど 時間がかかる -指の長さによって適切な操作距離が存在 指が長いと近い距離の操作の際に 指の長さの推定手法 指を持て余すことがある！ -センサ情報による機械学習 -操作時間によるパターンマッチング 59

考察 これまでのUI改善手法 親指の付け根方向に GUIオブジェクトを 近づける 指が長い人には悪影響？ 60

考察 これまでのUI改善手法 親指の付け根方向に オブジェクトを画面中央に GUIオブジェクトを 寄せた設計が望ましい可能性 近づける 指が長い人には悪影響？ 61

まとめ 目的：スマートフォン操作中のユーザの 指の長さの自動推定手法の検討 実験：スマートフォン上の操作を収集 分析：指の長さごとの傾向の調査 結果：指の長さは操作時間に影響 結論：センサ情報や操作時間によって 指の長さが推定可能 62