自由記述設問の順番とテキストボックスサイズが離脱に及ぼす影響：スマートフォン・PCの比較

自由記述設問の順番と テキストボックスサイズが 離脱に及ぼす影響: スマートフォン・PCの比較 ⼭﨑郁未 畑中健壱 中村聡史 ⼩松孝徳（明治⼤学）

はじめに • Webアンケートは ⼿軽に多くの回答を集めることができる • データが多く必要となる社会調査や 研究の基礎データの収集に利⽤されている 2

はじめに Webアンケートにおける 自由記述設問で不真面目回答が見られる • 回答者全員が回答可能な設問で 「特になし」「わからない」 • 「adkjgal;」といった適当な⽂字列 3

関連研究：不真面目回答について • ⾃由記述設問が後ろにあるほど 解釈可能な回答をする度合いが低くなる [Schmidtら、2020] • DQS（Directed Question Scale）と ARS（Attentive Responding Scale）に基づいた 26個の特徴量により不真⾯⽬回答を抽出 [後上ら、2021] Schmidt, K., Gummer, T., Roßmann, J.. Effects of Respondent and Survey Characteristics on the Response Quality of an Open-Ended Attitude Question in Web Surveys, MDA, 2020, vol. 14, no. 1, p. 3-34. 後上正樹, 松⽥裕貴, 荒川豊, 安本慶⼀. オンラインアンケート回答時のスマートフォン画⾯操作状況に基づく不適切回答検出. 情報処理学会インタラクション 2021, p. 1-10. 4

研究プロジェクトの目的 Webアンケートにおける 自由記述の設問での不真面目回答を減らす 5

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 ⾃由記述の位置と テキストボックスサイズに 着⽬した調査 デバイスによる 回答傾向の調査 HCI203 6

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 ⾃由記述の位置と テキストボックスサイズに 着⽬した調査 デバイスによる 回答傾向の調査 HCI203 7

過去の研究（HCI195） ⾃由記述の位置による不真⾯⽬回答率などの調査 最初 最後 ⼭﨑 郁未, 伊藤 理紗, 中村 聡史, ⼩松 孝徳. Webアンケートにおける不真⾯⽬回答予防システム実現に向けた⾃由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021. 8

過去の研究（HCI195） ⾃由記述が最初のグループでは • 不真⾯⽬回答率が低くなる • ⽂字数が少なくなる • ⾃由記述の段階で離脱が増える ⼭﨑 郁未, 伊藤 理紗, 中村 聡史, ⼩松 孝徳. Webアンケートにおける不真⾯⽬回答予防システム実現に向けた⾃由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021. 9

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 ⾃由記述の位置と テキストボックスサイズに 着⽬した調査 デバイスによる 回答傾向の調査 HCI203 10

過去の研究（HCI203） 自由記述設問の位置によるデバイスごとの調査 • 25~30%の回答者が1問⽬で離脱する • 離脱率 • 最初群＞最後群 • スマートフォン＞PC 11

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 ⾃由記述の位置と テキストボックスサイズに 着⽬した調査 デバイスによる 回答傾向の調査 HCI203 12

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 ⾃由記述の位置と テキストボックスサイズに 着⽬した調査 デバイスによる 回答傾向の調査 HCI203 13

関連研究：テキストボックスサイズ • テキストボックスが⼤きく表⽰された⼈は、 ⼩さく表⽰された⼈より回答が⻑い [Maloshonokら、2009] • ⼊⼒欄が⼤きいテキストボックスは 離脱率が⾼くなる [畑中ら、2023] Maloshonok, N., Terentev, E.. The Impact of Visual Design and Response Formats on Data Quality in a Web Survey of MOOC Students. Computers in Human Behavior, 2006, vol. 62, p. 506-515. 畑中健壱, ⼭﨑郁未, 中村聡史. ShrinkTextbox: Webアンケートの⾃由記述回答欄サイズ変化による回答の質向上法. 研究報告ヒューマンコンピュータインタラクション（HCI）, 2023, vol. 2023-HCI-201, no. 20, p. 1-8. 14

つまり… × 離脱率が⾼くなるのでは︖ 15

つまり… × 離脱率が低くなるのでは︖ 16

本研究の目的 自由記述設問の位置とテキストボックスサイズが 離脱に及ぼす影響の調査 • 2要因による離脱の影響の調査 • スマートフォンとPCの⽐較 17

実験 ⾃由記述設問の位置による回答の調査 • Yahoo!クラウドソーシングで依頼（2,000⼈） • スマートフォンを⽇常的に利⽤している⼈への アンケートで対象者は必ず回答できる設問のみ 18

実験 4つの群で⽐較 最初群（⼩） 最初群（⼤） 最後群（⼩） 最後群（⼤） 19

実験 4つの群で⽐較 ・・・ × ・・・ 20

実験：最初群（小） 4つの群で⽐較 ・・・ × ・・・ 21

実験：最初群（大） 4つの群で⽐較 ・・・ × ・・・ 22

実験：最後群（小） 4つの群で⽐較 ・・・ × ・・・ 23

実験：最後群（大） 4つの群で⽐較 ・・・ × ・・・ 24

実験：スマートフォンでの表示 テキストボックス⼩ テキストボックス⼤ 25

実験：PCでの表示 テキストボックス⼩ テキストボックス⼤ 26

実験 • 現在何問⽬かを随時画⾯に表⽰ • 設問順序制御のため、 問題は1ページに1問のみ表⽰ 27

実験 ⾃由記述設問の内容 設問番号 内容 Q-a スマートフォンの主な使⽤⽤途について，複数個回答してください Q-b スマートフォンを購⼊する際に重視する点を可能な限り回答してください Q-c 今現在所有しているスマートフォンについて，不便・不満な点について 回答してください．現在所有しているスマートフォンに不便・不満な点が 1つもない⼈は，過去に所有していたスマートフォンに感じた不便・不満 を回答してください 28

結果：離脱率 70 離脱率（%） 60 50 40 30 20 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 設問番号 最初群（⼩） 最初群（⼤） 最後群（⼩） 最後群（⼤） 最初群︓アクセスするが、30~47%もの⼈が回答しない 29

結果：離脱率 70 離脱率（%） 60 50 40 30 20 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 設問番号 最初群（⼩） 最初群（⼤） 最後群（⼩） 最後群（⼤） 最初群︓アクセスするが、30~47%もの⼈が回答しない 30

結果：離脱率 70 離脱率（%） 60 50 40 30 20 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 設問番号 最初群（⼩） 最初群（⼤） 最後群（⼩） 最後群（⼤） 最後群︓アクセスするが、約20%もの⼈が回答しない 31

結果：文字数/回答時間 合計文字数（文字） 合計回答時間（秒） 最初群（⼩） 35.6 120.2 最初群（⼤） 51.4 160.1 最後群（⼩） 36.5 112.9 最後群（⼤） 49.8 143.0 最初群（⼤）で⽂字数および回答時間が最も⻑い 32

結果：デバイスごとの離脱率 PC 70 70 60 60 50 50 離脱率（%） 離脱率（%） スマートフォン 40 30 20 40 30 20 10 10 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 1 2 3 4 5 6 最初群（⼤） 最後群（⼩） 8 9 10 11 12 13 設問番号 設問番号 最初群（⼩） 7 最後群（⼤） 最初群（⼩） 最初群（⼤） 最後群（⼩） 最後群（⼤） スマートフォンの⽅が離脱率が⾼い 33 14

結果：デバイスごとの文字数 スマートフォン PC 最初群（⼩） 34.3 37.0 最初群（⼤） 49.6 53.5 最後群（⼩） 34.0 40.8 最後群（⼤） 47.9 52.5 最初群（⼤）かつPCで最も⽂字数が多くなる 34

結果：デバイスごとの回答時間 スマートフォン PC 最初群（⼩） 118.3 121.6 最初群（⼤） 163.8 154.2 最後群（⼩） 108.4 120.9 最後群（⼤） 137.1 153.8 最初群（⼤）かつスマートフォンで最も⻑くなる 35

考察：離脱率/自由記述の位置 • 最初群︓1問⽬での離脱率が⾼い → ⾃由記述設問が最初にあることで離脱した • 最後群︓約20%もの⼈がアンケートに回答しない →⼀般的なアンケートであっても5分の1はすぐ離脱 36

考察：離脱率/最初群（大） 最初群（⼤） • 1問⽬での離脱率が最も⾼い • スマートフォンで離脱率が50%を超えていた 37

考察：離脱率/最初群（大） 最初群（⼤） • 1問⽬での離脱率が最も⾼い • スマートフォンで離脱率が50%を超えていた 待ち合わせなどの外的要因があるうえ、 テキストボックスが⼤きく表⽰されたことが原因 38

考察：離脱率/最初群（大） 最初群（⼤） • 1問⽬での離脱率が最も⾼い 自由記述設問を冒頭に配置しない方が良く • スマートフォンで離脱率が50%を超えていた テキストボックスサイズも小さめが望ましい 待ち合わせなどの外的要因があるうえ、 テキストボックスが⼤きく表⽰されたことが原因 39

考察：離脱率/画面サイズ スマートフォンにおける 画⾯サイズが離脱率に影響している可能性 667px未満 667px以上 最初群（⼩） 48.0 41.4 最初群（⼤） 66.4 50.8 最後群（⼩） 40.4 30.4 最後群（⼤） 40.7 32.1 40

考察：離脱率/画面サイズ スマートフォンにおける 画⾯サイズが離脱率に影響している可能性 667px未満 667px以上 画面サイズが小さいことから よりテキストボックスが大きく見えてしまった可能性 最初群（⼩） 48.0 41.4 最初群（⼤） 66.4 50.8 最後群（⼩） 40.4 30.4 最後群（⼤） 40.7 32.1 41

考察：離脱率/入力後の離脱 テキストボックスに⼊⼒しているものの アンケートから離脱してしまった⼈について分析 単位（人） Q-a Q-b Q-c 最初群（⼩） 9 5 2 最初群（⼤） 9 0 2 最後群（⼩） 4 0 2 最後群（⼤） 1 1 0 42

考察：離脱率/入力後の離脱 テキストボックスに⼊⼒しているものの アンケートから離脱してしまった⼈について分析 単位（人） Q-a Q-b Q-c 回答してみようとはするものの、 アンケートに慣れず離脱してしまった可能性 最初群（⼩） 9 5 2 最初群（⼤） 9 0 2 最後群（⼩） 4 0 2 最後群（⼤） 1 1 0 43

考察：離脱率・文字数と回答時間 テキストボックスサイズが⼤きいと • 離脱率が増加する • ⽂字数を多く⼊⼒しようとする • 回答時間を多く取り⼊⼒しようとする 離脱率と回答の質のバランスが重要であり 回答デバイスも考慮する必要がある 44

まとめ 背景︓Webアンケートにおける⾃由記述設問で 不真⾯⽬回答が⾒られる ⽬的︓⾃由記述設問での不真⾯⽬回答を減らす ⼿法︓⾃由記述設問を アンケートの最初に回答してもらう 結果 • 最初群では30-47% の回答者が1問⽬で離脱する︕ 最初群＞最後群、スマートフォン＞PC デバイスサイズでの離脱率は 画⾯サイズ⼩＞⼤ • 離脱率は • 45