GUI操作を伴うオンライン実験のデータ品質向上を目的とした事前タスクによる参加者スクリーニング

GUI操作を伴うオンライン実験のデータ品質向上を目的とした 事前タスクによる参加者スクリーニング 事前タスク メインタスク スクリーニングによりモデル適合度が向上 三山貴也 中村聡史（明治大学） 山中祥太（LINEヤフー株式会社） 1

自己紹介 • 三山 貴也（みやま たかや） • 明治大学大学院 先端数理科学研究科 先端メディアサイエンス専攻 M2 • 修士論文テーマ：オンライン実験に関する研究（本日のテーマ） CHI 2026 採択論文（Full Paper）について紹介 • Improving Data Quality via Pre-Task Participant Screening in Crowdsourced GUI Experiments • LINEヤフー株式会社 山中さんとの共同研究（インターンの成果） 2

Improving Data Quality via Pre - Task Participant Screening in Crowdsourced GUI Experiments Pre - task Main task Screening improves model fit ( Takaya Miyama , Satoshi Nakamura (Meiji University) Shota Yamanaka ( LY Corporation ) R² ) 3

背景：GUI操作を伴うオンライン実験 メリット • 短時間での参加者募集：数時間で1,000人以上 • 大規模なサンプル： GUI操作のパフォーマンスモデルの評価や 発生確率の低い事象（例：ポインティングタスクのエラー）の検証に効果的 [1] デメリット • 参加者の様子を観察しにくい：実験の指示に十分沿っていない行動が含まれる可能性 [2] • ラボ実験とは結果が異なる可能性： 速いが不正確な操作がみられるため、 操作モデルの評価に影響する可能性 [3] 信頼性の高いモデル評価には、指示に十分沿っていない参加者への対応が必要 [1] Yamanaka, HCOMP 2021, [2] Brühlmann+, Methods in Psychology, 2020, [3] Findlater+, CHI 2017 4

実際にオンライン実験で収集されたデータの例 適切な例 ていねいで正確 5

実際にオンライン実験で収集されたデータの例 適切か判断が難しい例 速いがやや不正確 6

実際にオンライン実験で収集されたデータの例 明らかに不適切な例 連打やランダムな操作 7

実際にオンライン実験で収集されたデータの例 適切な例 適切か判断が難しい例 明らかに不適切な例 ていねいで正確 速いがやや不正確 連打やランダムな操作 同じタスクでも参加者によって得られるデータは大きく異なる → メインタスクの前に参加者をスクリーニングするアプローチ 8

アプローチ • メインタスクの前に事前タスクを実施し、通過した参加者のみがメインタスクの分析対象 • 事前タスクのみの結果を用いて参加者をスクリーニング 事前タスク メインタスク スクリーニング すべての参加者 事前タスクを 通過した参加者 9

事前タスク サイズ調整タスク 物理カードのサイズに合うように画面上のカード画像のサイズを調整 [Li+ 2020] • 短時間：平均10秒未満で完了 • メインタスクとの関連性：正確な操作が求められるため、GUI操作を伴うメインタスクと関連がある • スクリーニング方法：物理カードとカード画像のサイズ差（サイズ調整誤差）を用いる → 閾値未満の参加者は通過、それ以外は非通過 サイズ調整誤差 [4] Li+, Scientific Reports, 2020 10

検証方法 1. オンライン実験（データ収集）：サイズ調整 (事前タスク) → GUI操作 (メインタスク) 2. シミュレーション（評価）：スクリーニングによってモデル適合度が向上するか検証 事前タスク メインタスク 11

オンライン実験 サイズ調整（事前タスク） 物理カードのサイズに合うように画面上のカード画像のサイズを調整 • 基準カード：ISO/IEC 7810 ID-1（クレジットカード、身分証、交通系ICカードなど） • 対象デバイス：iPhoneのみ、端末情報から px を mm に変換して処理 • 評価指標：サイズ調整誤差（mm） サイズ調整誤差 12

オンライン実験 ポインティング（メインタスク） 画面上下の2つのターゲットを交互にタップ • ターゲット幅 W：9条件（2.0, 2.8, 3.6, 4.4, 5.2, 6.0, 6.8, 7.6, 8.4 mm） • 試行数：1人あたり360試行 • 評価指標：操作時間（MT）、エラー率（ER） 30 mm W 13

オンライン実験 データ収集 • Yahoo!クラウドソーシングで参加者を募集（分析対象：N=519、平均所要時間：5分27秒） • スクリーニングは実施せず、すべての参加者が事前タスクとメインタスクを実施 事前タスク メインタスク 14

オンライン実験 サイズ調整タスクの結果 参加者数 • 310人（60%）が 2mm 未満の誤差（通過の可能性が高い参加者） • 143人（28%）が 10mm 以上の誤差（非通過の可能性が高い参加者） 誤差[mm] 15

オンライン実験 サイズ調整タスクの結果 参加者数 • 310人（60%）が 2mm 未満の誤差（通過の可能性が高い参加者） • 143人（28%）が 10mm 以上の誤差（非通過の可能性が高い参加者） 結果は連続的に分布しており、閾値を一意に定めることは難しい → 複数の閾値を用いてスクリーニングの効果を評価 誤差[mm] 16

シミュレーション スクリーニングでモデル適合度は向上するか 事前タスクによるスクリーニングが有効であれば、 分析対象に占める非通過群の割合が低いほど、 メインタスクの結果でGUI操作モデルの適合度が高くなるはず GUI操作モデル • 𝑀𝑇 = 𝑎 + 𝑏 ∙ log 2 • 𝐸𝑅 = 1 − erf 𝐴 +1 𝑊 𝑊 2 2𝜎𝑦 [5] [6] パラメータ • N：シミュレーションでのサンプルサイズ（N=80） • T [mm]：事前タスクの誤差から通過群/非通過群を分類する閾値（T=1〜10mm、1mm刻み） • X [%]：分析対象に占める非通過群の割合（X=0〜100%、10%刻み） [5] Fitts, Journal of Experimental Psychology, 1954, [6] Yamanaka+, ISS 2020 17

結果 ヒートマップ • 横軸：非通過群の割合 X（右ほど高い）/ 縦軸：閾値 T（下ほど大きい） • 各セル：各条件におけるモデル適合度 R² 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 低 18

結果 エラー率 ER モデルの適合度 • 非通過群の割合 X が高いほど、モデル適合度 R² は低下 • 閾値 T が大きい条件ほど、低下の傾向が顕著 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 低 19

結果 エラー率 ER モデルの適合度 • 非通過群の割合 X が高いほど、モデル適合度 R² は低下 • 閾値 T が大きい条件ほど、低下の傾向が顕著 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 0.989 R² = 0.989 R² = 0.853 閾値 T を厳しくし、非通過群の割合 X を低くするほどモデル適合度が向上 → 非通過群のデータによる誤ったモデル評価のリスクを低減 0.853 低 20

結果 操作時間 MT モデルの適合度 ER モデルと同様の傾向はみられるが、モデル適合度 R² の変化は小さい → 事前タスクでの操作の正確さは、操作の速さ（MT）よりも正確さ（ER）に反映される可能性 非通過群の割合 X [%] 閾値 T [mm] 0% 50% 100% ●●●●● ●●●●● ●●●●● ◆◆◆◆◆ ◆◆◆◆◆ ◆◆◆◆◆ 高 低 21

まとめ・今後の展望 主な結果 • 短時間の事前タスク（平均10秒未満のサイズ調整）により、 事前タスクの結果のみを用いたスクリーニングが可能 • 閾値を厳しくし、分析対象に占める非通過群の割合を低くするほど、モデル適合度が向上 Limitations • 事前タスクでは通過しても、メインタスクでは指示に十分沿わない参加者を検出できない • 閾値の設定は一意な基準がなく、トレードオフが存在 （厳しくするほど非通過群のデータは減少するが、分析可能な参加者数も減少） 今後の展望 • 既存のスクリーニング手法との比較（例：Gold Task, Attention Check） • 他のGUI操作タスクへの適用可能性を検証（例：ドラッグ、ステアリング） 22