Webアンケートにおける回答デバイスと自由記述設問の位置や大きさが回答行動に及ぼす影響

Webアンケートにおける 回答デバイスと自由記述設問の 位置や大きさが回答行動に及ぼす影響 2024.02.12 | 学位請求面接試問 先端数理科学研究科 先端メディアサイエンス専攻 中村研究室 山﨑郁未

はじめに • Webアンケートは 手軽に多くの回答を集めることができる • データが多く必要となる社会調査や 研究の基礎データの収集に利用されている 2

はじめに Webアンケートにおける 自由記述設問で不真面目回答が見られる • 回答者全員が回答可能な設問で 「特になし」「わからない」 • 「adkjgal;」といった適当な文字列 • 自由記述設問は欠損データが多く存在する [Rejaら、2003] Reja, U., Manfreda, K. L., Hlebec, V., and Vehovar, V.: Open-ended vs. close-ended questions in Web questionnaires. Advances in methodology and statistics, 2003, vol. 19, no. 1, pp. 159-177. 3

なぜ不真面目回答をするのか？ 後半になるにつれて 単調なタスクをこなすことが退屈になる 回答の負荷がより大きい自由記述設問で 「特になし」と回答することが起こりうる 4

関連研究：後半の自由記述設問 • 自由記述設問が後ろにあるほど 解釈可能な回答をする度合いが低くなる [Schmidtら、2020] • 質問が後になると質問開始直後より 回答時間が短く、回答文が短くなる [Galesicら、2009] Schmidt, K., Gummer, T., Roßmann, J.: Effects of Respondent and Survey Characteristics on the Response Quality of an Open-Ended Attitude Question in Web Surveys, MDA, 2020, vol. 14, no. 1, pp. 3-34. Galesic, M., Bošnjak, M.: Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey. Public Opinion Quarterly, 2009, vol. 73, pp. 349-360. 5

関連研究：後半の自由記述設問 • 自由記述設問が後ろにあるほど 解釈可能な回答をする度合いが低くなる [Schmidtら、2020] 自由記述設問を最初に回答してもらうことで 不真面目回答率が減るかは明らかになっていない • 質問が後になると質問開始直後より 回答時間が短く、回答文が短くなる [Galesicら、2009] Schmidt, K., Gummer, T., Roßmann, J.: Effects of Respondent and Survey Characteristics on the Response Quality of an Open-Ended Attitude Question in Web Surveys, MDA, 2020, vol. 14, no. 1, pp. 3-34. Galesic, M., Bošnjak, M.: Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey. Public Opinion Quarterly, 2009, vol. 73, pp. 349-360. 6

テキストボックス 7

関連研究：テキストボックスサイズ • テキストボックスが大きく表示された人は、 小さく表示された人より回答が長い [Maloshonokら、2009] • 入力欄が大きいテキストボックスは 離脱率が高くなる [畑中ら、2023] Maloshonok, N., Terentev, E.: The Impact of Visual Design and Response Formats on Data Quality in a Web Survey of MOOC Students. Computers in Human Behavior, 2006, vol. 62, pp. 506-515. 畑中健壱, 山﨑郁未, 中村聡史. ShrinkTextbox: Webアンケートの自由記述回答欄サイズ変化による回答の質向上法. 研究報告ヒューマンコンピュータインタラクション（HCI）, 2023, vol. 2023-HCI-201, no. 20, pp. 1-8. 8

関連研究：テキストボックスサイズ • テキストボックスが大きく表示された人は、 小さく表示された人より回答が長い [Maloshonokら、2009] 自由記述設問の位置とテキストボックスサイズの 関係は明らかになっていない • 入力欄が大きいテキストボックスは 離脱率が高くなる [畑中ら、2023] Maloshonok, N., Terentev, E.: The Impact of Visual Design and Response Formats on Data Quality in a Web Survey of MOOC Students. Computers in Human Behavior, 2006, vol. 62, pp. 506-515. 畑中健壱, 山﨑郁未, 中村聡史. ShrinkTextbox: Webアンケートの自由記述回答欄サイズ変化による回答の質向上法. 研究報告ヒューマンコンピュータインタラクション（HCI）, 2023, vol. 2023-HCI-201, no. 20, pp. 1-8. 9

関連研究：回答デバイス • モバイル端末の方がPCよりも 回答完了率が低くなる [Mavletova、2013] • スマートフォンの方がPCよりも長い回答をする [Antounら、2017] Mavletova, A.: Data Quality in PC and Mobile Web Surveys. Social Science Computer Review, 2013, vol. 31, no. 6, pp. 725-743. Antoun, C., Couper, P. M. and Conrad, G. F.: Effects of Mobile versus PC Web on Survey Response Quality: A Crossover Experiment in a Probability Web Panel. Public Opinion Quarterly, 2017, vol. 81, no. S1, pp. 280-306. 10

本研究の目的 Webアンケートにおける 自由記述設問の要素やデバイスが回答行動に どのような影響があるか明らかにする 11

研究の流れと要素 実験番号 概要 1 自由記述設問の位置に よる回答の質の調査 2 デバイスによる 回答傾向の調査 3 自由記述設問の位置と テキストボックスサイズに 着目した調査 自由記述設問の 位置 テキスト ボックスサイズ 回答デバイス 12

研究の流れと要素 実験番号 概要 1 自由記述設問の位置に よる回答の質の調査 2 デバイスによる 回答傾向の調査 3 自由記述設問の位置と テキストボックスサイズに 着目した調査 自由記述設問の 位置 テキスト ボックスサイズ 回答デバイス 13

実験1：仮説 退屈だと感じていない早い段階で 自由記述設問に回答してもらうことで 不真面目回答率が低くなり文字数が増える 14

実験1 自由記述の位置による不真面目回答率などの調査 最初群 最後群 山﨑 郁未, 伊藤 理紗, 中村 聡史, 小松 孝徳. Webアンケートにおける不真面目回答予防システム実現に向けた自由記述配置の基礎検討. 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021. 15

実験1 • 現在何問目かを随時画面に表示 • 設問順序制御のため、 問題は1ページに1問のみ表示 16

結果：不真面目回答率 全ての設問で最初群の方が不真面目回答率が低い 17

結果：文字数 合計文字数（文字） 最初群 57.2 最後群 62.6 最後群の方が文字数が多い 18

結果：離脱率 最初群：自由記述設問（Q1~Q4）で離脱率が増加 19

考察 自由記述設問を最初に回答してもらうことで • 不真面目回答率が低くなる • 文字数が少なくなる • 自由記述設問の段階で 不真面目に回答しようとしていた人が離脱 20

研究の流れと要素 実験番号 概要 1 自由記述設問の位置に よる回答の質の調査 2 デバイスによる 回答傾向の調査 3 自由記述設問の位置と テキストボックスサイズに 着目した調査 自由記述設問の 位置 テキスト ボックスサイズ 回答デバイス 21

実験3：目的 自由記述設問の位置とテキストボックスサイズが 離脱にどのような影響を及ぼすか • 2要因による離脱の影響の調査 • スマートフォンとPCの比較 山﨑 郁未, 畑中 健壱, 中村 聡史, 小松 孝徳. 自由記述設問の順番とテキストボックスサイズが離脱に及ぼす影響: スマートフォン・PCの比較. 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2023-HCI-204, No.18, pp.1-8, 2023. 22

実験3 4つの群で比較 最初群（小） 最初群（大） 最後群（小） 最後群（大） 23

最初群（小） 4つの群で比較 ・・・ × ・・・ 24

最初群（大） 4つの群で比較 ・・・ × ・・・ 25

最後群（小） 4つの群で比較 ・・・ × ・・・ 26

最後群（大） 4つの群で比較 ・・・ × ・・・ 27

結果：離脱率 最初群：アクセスするが、30~47%もの人が回答しない 28

結果：離脱率 最初群：アクセスするが、30~47%もの人が回答しない 29

結果：離脱率 最後群：アクセスするが、約20%もの人が回答しない 30

結果：文字数 合計文字数（文字） 最初群（小） 35.6 最初群（大） 51.4 最後群（小） 36.5 最後群（大） 49.8 最初群（大）で文字数が最も多い 31

結果：デバイスごとの離脱率 スマートフォン PC スマートフォンの方が離脱率が高い 32

考察：離脱率/自由記述の位置 • 最初群：1問目での離脱率が高い → 自由記述設問が最初にあることで離脱した • 最後群：約20%もの人がアンケートに回答しない → 一般的なアンケートであっても5分の1はすぐ離脱 33

考察：離脱率/最初群（大） 最初群（大） • 1問目での離脱率が最も高い • スマートフォンで離脱率が50%を超えていた 34

考察：離脱率/最初群（大） 最初群（大） • 1問目での離脱率が最も高い • スマートフォンで離脱率が50%を超えていた テキストボックスが大きく表示されたことが原因 35

考察：離脱率/最初群（大） 最初群（大） • 1問目での離脱率が最も高い 離脱率を極端に高くしないためには • スマートフォンで離脱率が50%を超えていた 自由記述設問を冒頭に配置しない方が良く テキストボックスサイズも小さめが望ましい テキストボックスが大きく表示されたことが原因 36

考察：回答行動とデザイン • 自由記述設問の位置やテキストボックスサイズは 回答行動にさまざまな影響を及ぼす • どの要因を重要視したいかによって デザインを検討すると良い • 不真面目回答率を低くしたい：自由記述設問を最初 • 離脱率を低くしたい 自由記述設問を最後 • 文字数を多くしたい 37

まとめ 背景：Webアンケートにおける自由記述設問で 不真面目回答が見られる 目的：自由記述設問での回答行動を明らかにする 手法：自由記述設問の位置や大きさで比較 結果 • 最初群では30-47% の回答者が1問目で離脱する！ • 離脱率は 最初群＞最後群、スマートフォン＞PC 38