Webアンケートにおける不真面目回答予防システム実現に向けた自由記述配置の基礎検討_山﨑郁未

Webアンケートにおける 不真面目回答予防システム実現に向けた 自由記述配置の基礎検討 山﨑郁未（明治大学） 伊藤理紗 中村聡史 小松孝徳（明治大学）

はじめに • Webアンケートは手軽に多くの回答を 集めることができる • 近年では社会調査や、研究にも多く用いられる • Webアンケートに回答する人は多様であり、 特に自由記述の設問では多様な視点での 回答を得ることができる [Rejaら、2003]

はじめに • Webアンケートは手軽に多くの回答を 集めることができる • 近年では社会調査や、研究にも多く用いられる • Webアンケートに回答する人は多様であり、 特に自由記述の設問では多様な視点での 回答を得ることができる [Rejaら、2003] 本研究では自由記述に着目

はじめに 自由記述について • 自由記述の方が、選択設問よりも 欠損データが多い [Rejaら、2003] • 昨年実施したクラウドソーシングでのアンケートで 「特になし」などの不真面目回答が目立った • 化粧に関するアンケートでのある設問：2000人中405人 • 漫画に関するアンケートでのある設問：2000人中380人

はじめに 自由記述について • 自由記述の方が、選択設問よりも 欠損データが多い [Rejaら、2003] • 昨年実施したクラウドソーシングでのアンケートで 「特になし」などの不真面目回答が目立った • 化粧に関するアンケートでのある設問：2000人中405人 • 漫画に関するアンケートでのある設問：2000人中380人 不真面目回答を判定し、除去を行った

はじめに 自由記述について • 自由記述の方が、選択設問よりも 欠損データが多い [Rejaら、2003] • 昨年実施したクラウドソーシングでのアンケートで このような作業は手間となり 「特になし」などの不真面目回答が目立った • 分析に使用できるデータ数が減ってしまう 化粧に関するアンケート：2000人中453人 • 漫画に関するアンケート：2000人中503人 不真面目回答を判定し、除去を行った

このような問題を解決するために アンケート実施前にどのくらい良いデータが 集まるアンケートなのか、どう改善したら良いのかを 予測および提示するシステムの実現を目指す アンケート システム ??%が 良いデータ

システム実現に向けて どのような基準で不真面目回答を 減らすことができるのかの基礎調査を行う

どうして不真面目回答をするのか？ 後半になるにつれて 単調なタスクをこなすことが退屈になる 回答の負荷がより大きい自由記述で 「特になし」と回答することが起こりうる

関連研究：後半の自由記述について • 自由記述の設問が後になるほど、 解釈可能な回答をする度合いが有意に低くなる [Schmidtら、2020] • 質問が後になると質問開始直後より 回答時間が短く、自由記述の回答文が短くなる [Galesicら、2009] 自由記述の設問の位置を変えることにより 回答の質・回答文に影響を及ぼすかは明らかにされていない

システム判定基準 退屈だと感じていない早い段階で 負荷の大きい自由記述の回答をしてもらう • 自由記述の回答で、回答の質が向上 • アンケートの対象ではない人の離脱

仮説 退屈だと感じていない早い段階で 自由記述を回答してもらうことにより 回答の質が上がる

実験 自由記述の位置による不真面目回答率調査 • Yahoo!クラウドソーシング上で 1000人（男性500人、女性500人）に依頼 • 自由記述が最初のグループ、 自由記述が最後のグループに分けて比較を行う

実験 自由記述が最初 4問 9問 4問 4問 9問 4問 自由記述が最後

実験 • テーマは「テレワーク・在宅ワークに関するアンケート」 • Webシステムで2つのグループに分類後、 Google Formで回答してもらう • 設問は1ページに1問のみ表示 →回答順序制御のため

実験 自由記述内容 テレワーク・在宅ワークにおける仕事をするうえでの メリットを教えてください テレワーク・在宅ワークにおける仕事をするうえでの 2問目 デメリットを教えてください 1問目 3問目 テレワーク・在宅ワークにおける仕事以外 （私生活、家庭など）でのメリットを教えてください テレワーク・在宅ワークにおける仕事以外 4問目 （私生活、家庭など）でのデメリットを教えてください ※各設問の最後に「些細なことでも構いません」との併記あり

結果：データ数 • 実験協力者1000人から集まった回答は1120件 • 自由記述の4問で一語一句同じ回答のもの →同一人物による回答とみなし、1つを残し除去

結果：不真面目回答の分類 • 大学生の評価者2人に 真面目回答か不真面目回答か分類を依頼 • 「設問に対して答えが伴っておらず、 回答そのもので意味を捉えられないもの」 を不真面目回答とするよう依頼

結果：不真面目回答の分類 分類の一致度としてKappa係数を求めた 評価者B 真面目回答 評価者A 真面目回答 不真面目回答 合計 不真面目回答 合計 3365 196 3561 25 208 233 3390 404 3794 → Kappa係数は0.623となり、 評価はほぼ一致していた

結果：不真面目回答の分類 分類の一致度としてKappa係数を求めた 評価者B 真面目回答 評価者A 真面目回答 不真面目回答 合計 不真面目回答 合計 3365 196 3561 25 208 233 3390 404 3794 → Kappa係数は0.623となり、 評価はほぼ一致していた意見が分かれたものは 著者で最終判断し分類

結果：不真面目回答率 単位（%） 1問目 2問目 3問目 4問目 最初 8.66 19.79 16.25 29.51 最後 14.58 20.93 21.12 37.76 1問目と4問目：p<0.01、3問目：p<0.05 • 自由記述が最初のグループの方が 不真面目回答の割合が少なくなった • 4問目で急激に不真面目回答の割合が増える

結果：文字数 単位（文字） 1問目 2問目 3問目 4問目 最初 13.22 13.51 12.52 10.81 最後 15.94 16.10 13.96 11.59 • 自由記述が最後のグループの方が文字数が多い • 4問目にかけて文字数の減少が見られる

結果：離脱率 単位（%） 離脱率 最初 23.72 最後 23.90 • どちらのグループでも離脱率はほぼ変わらない • どの設問で離脱をしたかがわからない

追加実験 離脱率および離脱場所に着目した実験 • Yahoo!クラウドソーシング上で 1000人（男性500人、女性500人）に依頼 • 独自のアンケートシステムを作成し、実験をする →回答時間、どこで離脱したかを調査可能 • 自由記述が最初、最後のグループに分けて実施

追加実験 • テーマは「運転免許を所持している人向けアンケート」 • 独自のアンケートシステムで回答してもらう • 設問は1ページに1問のみ表示

結果：データ数 • 実験協力者1000人から集まった 有効回答は979件 • 個人を識別するIDを入力してもらったため、 同一人物による回答はなし

結果：不真面目回答の分類 分類の一致度としてKappa係数を求めた 評価者D 真面目回答 評価者C 真面目回答 不真面目回答 合計 不真面目回答 合計 3632 95 3727 15 174 189 3647 269 3916 → Kappa係数は0.745となり、 評価はほぼ一致していた

結果：不真面目回答率 単位（%） 1問目 2問目 3問目 4問目 最初 1.47 5.45 11.53 3.98 最後 4.58 8.37 12.95 7.17 1問目：p<0.01、4問目：p<0.05 • 自由記述が最初のグループの方が 不真面目回答率が低い→先程の実験と同様 • 4問目で急激に不真面目回答が増える傾向はない

結果：文字数 単位（文字） 1問目 2問目 3問目 4問目 最初 12.70 10.64 18.45 15.43 最後 14.03 11.63 20.10 16.75 • 先程の実験と同様、 自由記述が最後のグループの方が文字数が多い • 設問ごとに文字数が大きく異なっている

結果：離脱率について • 自由記述が最初のグループでは Q1からQ4までの自由記述で離脱率が上昇 • 自由記述が最後のグループは途中での離脱が少ない

考察：不真面目回答・文字数について • 自由記述が最初のグループ →不真面目回答率低い・文字数少ない • 自由記述が最後のグループ →不真面目回答率高い・文字数多い

考察：不真面目回答・文字数について • 自由記述が最初のグループ →不真面目回答率低い・文字数少ない • 自由記述が最後のグループ →不真面目回答率高い・文字数多い トレードオフの関係があり、 アンケートによって配置を変えることが効果的

考察：離脱について 自由記述が最初のグループで 自由記述フェーズで離脱した人が多く見られた 除外できている可能性 • 面倒と思い離脱した人 • 不真面目に回答しようとしている人 • アンケートの対象ではないのに回答をしようとしている人

考察：回答開始時間での分析 追加実験でアンケートの依頼は日付は異なるが 依頼開始時間はどれも午前8時 • アンケートの依頼を開始してから10分以内に回答 • アンケートの依頼を開始してから10分以降に回答 で比較を行う

考察：回答開始時間での比較 不真面目回答率（%） 1問目 2問目 3問目 4問目 10分以内（最初） 2.34 5.47 12.11 5.08 10分以降（最初） 0.45 5.43 10.86 2.71 10分以内（最後） 3.77 7.95 13.39 6.69 10分以降（最後） 5.32 8.37 12.55 7.60 カイ二乗検定：p<0.05 10分以降に回答した自由記述が最初のグループで 不真面目回答が少なくなった

考察：回答開始時間での比較 文字数の比較（単位：文字） 合計 10分以内（最初） 52.90 10分以降（最初） 62.24 10分以内（最後） 59.56 10分以降（最後） 65.20 自由記述の位置に関わらず、 10分以降に回答した人の方が文字数が多い

考察：回答開始時間での比較 自由記述の各設問で回答に要する時間（単位：秒） 自由記述が最初 説明+Q1 Q2 Q3 Q4 10分以内 68.00 38.89 47.68 38.62 10分以降 69.00 44.89 58.93 47.22 Q14 Q15 Q16 Q17 自由記述が最後 10分以内（最後） 35.89 41.56 50.53 39.50 10分以降（最後） 40.61 43.13 61.55 48.40 10分以降に回答した人の方が回答時間が長い

考察：回答開始時間での比較 • 自由記述が最初かつ10分以降に回答している人は 不真面目回答が少ない • 10分以降に回答する人は 自由記述での回答時間が長く、文字数が多い 10分以降に回答している人は 分析対象として有効で、 特に有効であるのは自由記述が最初のグループ

まとめ 背景：Webアンケートにおいて不真面目回答が多い 目的：システム実現に向けた 不真面目回答を減らす自由記述配置の調査 仮説：退屈だと感じていない早い段階で自由記述を 回答してもらうことで、回答の質が上がる 結果：自由記述を最初に配置することで ・ 不真面目回答が少なくなる ・ 文字数が減少する トレードオフの関係が見られた