適切な距離の学生に依頼可能な実験協力者募集システムの実装と複数研究室での運用

適切な距離の学生に依頼可能な 実験協力者募集システムの実装と複数研究室での運用 桶川一幸 中村聡史 明治大学大学院 先端数理科学研究科 中村研究室

背景 人にまつわる分野の研究では実験協力者の募集が必要 実験協力者の募集は実験を成立させるための重要な要素 しかし、募集には様々な苦労がある ・研究によって実験協力者の条件がある ・統計的な理由から多数人必要な場合がほとんど ・締め切りなどの都合により時間が限られている #1

実験募集の方法: 直接募集 ・準備が必要なく、無視されにくい ・連絡を取る手間がかかる 実験者と実験協力者の関係性が近いために生じる問題 ・結果に望ましくない効果がかかってしまう可能性がある ・頼まれた側は参加が断りづらくなってしまう場合も 実験協力は実験倫理の観点から自由意志による参加でなければならない #2

実験募集の方法: SNSを利用した募集 こちらの実験、参加者募集中です！！ 参加者がなかなか集まらない状況なので、大学に来る予定のある方はぜひ参加して欲しいです！ 試験終わりや部活の前後などに時間が空いているという方がいましたら、ぜひご協力お願いします！！ 大学心理科学研究室 @KgPsysci 【1月実施・参加者募集】「メッセージに対する印象実験7」●この実験は、事前アンケート(約10分)と実験(約30分)の2つのパートがあります。■ 謝礼:実験参加証1枚 or QUOカード500円分●詳細&参加登録はこちら 20:23 - 2019年1月10日 ※※再うp※※ 【〇〇研究実験協力被験者募集】 日程:3/6と3/7の二日間 場所:愛知県岡崎市 内容:MEG(脳磁界)測定の実験 募集人員:2名 備考:宿泊施設は確保してくださるそうです。 興味のある方はリプライかDM よろしくお願いします!! 18:05 - 2017年2月27日 ・簡単に多くの人に声をかけられる ・他人事のようにとらえられてしまう #3

実験募集の方法: クラウドソーシング 実験者と実験協力者の関係性が遠いために生じる問題 ・募集できるのはオンライン上で行う実験のみ ・実験環境の統制がとれない → スクリーニングの設問にひっかかった人 - 51.2% [日本 A社], 83.8% [日本 B社] amazon mechanical turk Crowd Works YAHoo! クラウドソーシング #4

実験募集の方法: 実験協力者プールシステム 大学の関係者をあらかじめシステムに登録させておくことで 近すぎず遠すぎない適切な距離の関係性の実験協力者を集められる 心理学系の大学などで主に利用されている → 無い場合には利用できず、導入するにはそれなりの準備が必要 ウェブシステムやメーリングリストによる運用が主流である → 学生の即レス性が低いと考えられる 通知が溜まってしまうと詳しく見てくれない恐れ（他人事感） #5

実験協力者の募集方法まとめ 実行ハードル 集められる人 募集範囲 関係性 他人事感 直接募集 低い 少ない 狭い 近い なし SNS 低い 少ない 広い 遠い あり クラウドソーシング 高い 多い 広い 遠い なし 実験協力者プール 高い 多い 広い 適切 あり 目指すべき募集 低い 多い 広い 適切 なし #6

本研究の目的 適切な距離の学生が気軽に登録し 実験者が簡単に利用できる実験協力者の募集手法を実現する 実験者:大学の研究室 実験協力者:研究室に所属していない学生 ・所属している学生に比べ、時間的な余裕（忙しい時期が被らない） ・教育的なメリット - 実験のやり方や研究室志望の参考に #7

コミュニケーションチャネル 普段コミュニケーションのために使っているツール → 利用頻度が高いため、目に触れる機会が多い LINE S 大学生が普段、友人や家族と連絡に利用するものの調査 [東京工科大学 2019] (%) 100 90 80 70 60 50 40 30 20 10 0 2014年 (N=1277) 2015年 (N=1269) 2016年 (N=1695) 2017年 (N=1730) 2018年 (N=1735) 2019年 (N=1795) LINEメッセージ Twitterダイレクトメッセージ 携帯電話/スマートフォンのキャリアメール SMS(ショートメール)、iMessage(※3) Gmail等のフリーメール Facebookのメッセージ その他(※2) (※1) 2014年~2018年は「普段、メッセージのやりとりで友人との連絡方法に使っているもの」として質問 (※2) 2014年~2018年は「その他のSNS」と「その他」の合計 (※3) 2014年~2016年は「SMS(ショートメール)」の表記で確認 #8

これまでの研究 [GN107] コミュニケーションチャネルで動作する「Bot」を介して 実験協力者の募集を行う手法を提案した LINE Botとして実装し、2ヶ月の短期間の運用を中村研で行った 手法が実験協力者の募集に十分役立つことがわかった 課題 ・新たな研究室に手法を導入することが困難 - 他の研究室にも導入して同様の結果を得られるか - 様々な実験に利用できるものなのか #9

今回の報告 新たな研究室での導入を可能とし、 手法の汎用的な有用性や特性を検証する GN107で頂いたコメントについても調査 ・Botを介して連絡をすることのメリットについて ・募集の時間帯による集まり方への影響はあるのか ・魅力的なメッセージによる集まり方への影響はあるのか #10

システムデモ（動画） #11

運用 導入を行った明治大学総合数理学部の5つの研究室について分析 新規導入ごとにA（中村研）のBotで宣伝を行い登録者を募集 研究室 導入日数 総登録者 参加経験者 登録解除者 募集件数 A 431 183(123) 138(101) 18(6) 61 B 203 117(75) 65(42) 4(3) 6 C 91 55(41) 15(10) 0(0) 1 D 85 67(50) 19(16) 0(0) 2 E 49 52(33) 16(15) 1(0) 8 (2020/01/21更新) 括弧内は研究室に所属していない学生の数 #13

運用結果（意思表示時間） 実験募集開始時からのユーザの参加意思表示までの時間 5研究室合計で1593件の意思表示が行われた そのうち1日（24時間）以内に1305件が集中していた 度数 700 600 500 400 300 200 100 0 10 20 30 40 50 60 70 80 90 100 110 120 募集からの時間（10分ごと） #14

運用結果（全体と研究室別） 平均募集人数 最終参加率 1日以内参加率 5日以内参加率 途中離脱率 73.14 16.57% 90.80% 96.78% 28.01% 研究室 募集件数 平均募集人数 最終参加率 途中離脱率 A 46 79.28 16.16% *32.67% B~E 17 56.52 17.68% *14.88% * (p<.05) 中村研とそれ以外で最終参加率には差はほとんどなかったため 他の研究室でも本手法が実験協力者の募集に役立つことがわかる #15

実験者に対するアンケート結果 直接募集による実験実施経験 あり なし 全体 回答者数 8 11 19 手軽に利用できた 4.75 4.36 4.52 人数を多く集められた 4.75 4.54 4.63 早く集められた 4.75 4.27 4.47 多様な人を集められた 3.75 3.36 3.52 信頼できる人を集められた 3.00 2.81 2.89 条件に合った人を集められた 4.25 3.54 3.84 今後もシステムを利用したい 4.75 4.63 4.68 1~5の5段階で評価 直接募集経験者にも高い評価を得られたため 本手法は直接募集よりも有用な手法であると考えられる #16

実験者に対するアンケート結果 直接募集による実験実施経験 あり なし 全体 回答者数 8 11 19 手軽に利用できた 4.75 4.36 4.52 人数を多く集められた 4.75 4.54 4.63 早く集められた 4.75 4.27 4.47 多様な人を集められた 3.75 3.36 3.52 信頼できる人を集められた 3.00 2.81 2.89 条件に合った人を集められた 4.25 3.54 3.84 今後もシステムを利用したい 4.75 4.63 4.68 1~5の5段階で評価 登録者を増やすことで改善が望める #17

実験者に対するアンケート結果 直接募集による実験実施経験 あり なし 全体 回答者数 8 11 19 手軽に利用できた 4.75 4.36 4.52 人数を多く集められた 4.75 4.54 4.63 早く集められた 4.75 4.27 4.47 多様な人を集められた 3.75 3.36 3.52 信頼できる人を集められた 3.00 2.81 2.89 条件に合った人を集められた 4.25 3.54 3.84 今後もシステムを利用したい 4.75 4.63 4.68 1~5の5段階で評価 アンケートにまじめに回答してくれなかったとの意見があったため 学生に対して調査の重要性をうまく伝えることが大切 #18

Bot登録者に対するアンケート結果 実験に参加しなかった理由は「難易度」が最も多かった 「実験者が知らない先輩」という項目は誰も選ばなかった → 誰にでもすぐに募集ができる 本システムで実験に参加したか した していない 全体 回答者数 30 3 33 研究室への理解が深まった 3.47 2.00 3.33 今後もBotを利用したい 4.50 2.67 4.33 1~5の5段階で評価 #19

Bot登録者に対するアンケート結果 SNS 2 最も気軽だと思う実験者との連絡方法 メール 5 （当てはまるものをすべて選択） LINE 3 Bot 20 実験を途中で離脱したことがあったか 21 実験協力することへの気軽さ（5段階評価） 3.63 Botを介することで連絡先の交換が不要であることが大きい 離脱経験者が多いことや5段階評価の結果から気軽に利用できる手法 であることがわかる #20

実験の要素別の分析 ・報酬の有無 → 集まる早さ、最終的な参加率には差はなし 離脱率は報酬ありの方が有意に高かった 報酬ありの実験は時間がかかるもの難易度の高いものが多かった（中村研に多い） ・募集時間帯別 - 平日昼・平日朝夜・休日で分類 → 時間帯によって早さ、参加率に大きな差はなかった #21

定員に到達した実験についての分析 15件の実験が設定された定員に到達した 定員に到達した実験 = 人気のあった実験 ・すべて報酬のあるオンライン実験 ・内容が簡潔で不信感のない募集メッセージ 定員に到達した例：【再募集】手書き文字評価実験【¥1000~5000】 実験ページにアクセスしてもらい手書き文字に関するアンケートに答えてもらいます。 詳細は実験参加後にお送りします。 #22

募集メッセージについて 具体的に何をするのか、想像がしやすい募集メッセージが良い 集まりが悪かった例：おしゃべり実験 小一時間おしゃべりをして2000円がもらえる実験です！ 参加押した後実験ページから登録お願いします！ 定員に到達した例：【再募集】手書き文字評価実験【¥1000~5000】 実験ページにアクセスしてもらい手書き文字に関するアンケートに答えてもらいます。 詳細は実験参加後にお送りします。 → 集まらなかった場合は メッセージを工夫することで改善できる可能性がある #23

今後の展望 より積極的に実験に参加したくなる工夫を行う ・実験協力ポイントによるゲーム要素の導入 → 参加率が低い 離脱率が高い実験は協力すると高ポイント 実験協力するメリットを増やすことで 参加率の増加や離脱率の低減が望める #24

まとめ こちらから研究室に導入できます → https://exameister.com/ 目的 ・適切な距離の学生が気軽に登録し実験者が簡単に利用できる実験協力者の募集手法を実現する ・誰でも自身の研究室に手法を導入できるよし、 複数の研究での導入を行い手法の汎用的な有用性や特性調査 運用結果 ・研究室、募集時間帯、実験内容、報酬の有無によって集まる早さ、人数に差はない ・24時間以内に9割以上の参加の意思表示が確認できるためメッセージの工夫などの対応を すぐに行うことができる ・研究室に所属していない学生が気軽に利用でき、研究や研究室への理解を深めることに役立つ #25