電子情報通信学会CQ研究会_2024年1月_招待講演_土方嘉徳

IEICE-CQ 2024/1/25-26 JST CREST「信頼されるAIシステムを支える基盤技術」 推薦システムに対する信頼性の 心理的評価 関西学院大学商学部 メディア心理学研究室 土方 嘉徳

◼ 研究背景 1/3 人工知能を使ったサービスが一般的に YouTube ユーザは人工知能よる判断や推薦を常に 受け続けている SNSにおけるタイムライン 以前は時系列順の表示 現在はレコメンド （アテンション X (Twitter) エコノミー） 無限スクロールは人々の関心注意を 奪うダークパターン (Roffarello & Russis, 2022) 2

◼ 研究背景 2/3 ⚫ 推薦による情報提示のデフォルト化 ⚫ 提供される記事やコンテンツの増加 「人工知能の意思決定に対して ユーザが無防備すぎる」 (Harari, 2017) ⚫ ユーザは自ら目的を持って記事やコン テンツを検索しない ⚫ まずはシステムのお薦めを試してみる 出典 : PR TIMES 推薦過信 推薦されたコンテンツを主体的に評価することなく受け入れ続ける 3

◼ 研究背景 3/3 ⚫ 情報カスケード (information cascade) (Bikhchandani. et al, 1992) 各々の意思決定者が先行者から情報を受け取り, それに追随する行動をとる ⚫ サイバーカスケード (cyber cascade) (Sustein, 2007) インターネットコミュニケーションにおいて 大規模な集団極化現象が起こる 推薦システムでは 出典：free-vectors.net 推薦結果 = 先行者 システム的に情報カスケードが起こりうる 4

◼ 本研究の目的 自分が推薦過信に陥っているかどうかを判断したい ユーザが推薦を強く信頼しているかどうかを 測定する自己回答式の心理尺度の必要性 推薦受容傾向尺度 推薦システムにより推薦されたアイテムを受け入れる傾向を表す尺度 を開発 ⚫ 過信という何らかの問題のある状態を検出するものではない ⚫ 推薦結果への従順さを高い水準まで測定する 5

◼ 心理尺度とは 心理尺度 (psychological scale)：人の心の中の状態（感情）や 心の特性（性格）を測定するための物差し（手段） ⚫ 表現方法：数値やカテゴリ ⚫ 取得方法：自己申告法（アンケート），観察法， 生理学的測定法，認知評価法 一般には， 心理尺度 = アンケート 心理尺度の例 ⚫ 性格特性 (personality trait)：人の性格（人格）をいくつかの観点 (traits) で数値化したもの ⚫ 抑うつ (depression) ：抑うつ症状の程度を数値化したもの ⚫ 中毒・依存症 (addiction)：アルコール，ギャンブル，ゲーム，イ ンターネットなどの特定の対象に強い依存や欲求を生じている程度 6

◼ 構成概念とは 構成概念 (construct)：心理学や社会学において人の心の中の状態 や特性のように実体を持たない概念で，人の観察された行動パ ターンを規定するために，研究者らにより構成されたもの 傾性概念 (dispositional concept)：特定の状況下で観察 された行動パターンを一般化・抽象化した概念 (e.g. 行動傾向，行動特性） (Carnap, 1956) いったい何を 測っているの？ 理論的構成概念 (theoretical construct)：状況要因 から独立に行動に影響を与えると考えられる普 遍的な概念 (MaCorquodale & Meehl, 1948) (e.g. 性格特性，感情，覚醒水準） 7

◼ 自己申告法の利点と欠点 ⚫ 利点 短時間に多人数の心理的現象を把握できる 観察法や面接法に比べて調査担当者にスキルが必要ない 観察法や面接法に比べて回答にバイアスが生じにくい（e.g. 不自然な実 験環境，観察者や面接員に対する構え） 定量化しやすい（そもそも定量化されている） ⚫ 欠点 質問に対する黙従傾向 社会的望ましさバイアス 言語能力による対象者の制限 認知負荷の増大に伴う回答の質の劣化 • • • • 定量化方法 複数の質問で尋ねる 順序尺度で尋ねる 回答選択肢に点数を付与する 合計得点を求める 8

◼ 心理尺度の信頼性と妥当性 そもそもアン ケートなんて 使えるの？ ⚫ 信頼性 (reliability)：質問そのものの正確さ  複数回測定したときの誤差が小さい（再テスト法）  質問項目同士の回答傾向に一貫性が見られる（クロンバックのα係数） ⚫ 妥当性 (validity)：測定したい構成概念を測定できているか (Rulon, 1946)  内容妥当性 (content validity)：構成概念や理論的背景を熟知した専門家が質問内容を評価  併存的妥当性 (concurrent validity)：心理尺度と同時に測定した外的基準（同じ構成概念に 対する確立された心理尺度や認知テスト等）との相関を分析 (Cronbach & Meehl, 1955)  予測的妥当性 (predictive validity)：心理尺度測定後に得られる外的基準との相関を分析  収束的妥当性 (convergent validity)：当該尺度と同じ（似た）構成概念を測定して相関を分 析 (Campell & Fiske, 1959)  弁別的妥当性 (discriminate validity)：理論的に反対の構成概念を測定して相関を分析  因子妥当性 (factorial validity)：尺度の持つ因子構造から妥当性を判定 ※併存的妥当性と予測的妥当性は，合わせて基準関連妥当性とも呼ばれていた (Cronbach & Meehl, 1955) 9 現在は，収束的妥当性の一部とみなされることが多い (Messick, 1998; Messick 1995)

◼ 研究のアプローチ 心理尺度（質問 項目）の設計 評価のための 社会調査の実施 ベースとなる観点 • 従来の心理尺度 • 従来の評価尺度 オンライン調査 • 提案する心理尺度 • 従来の心理尺度 質問項目の信頼性 （内的一貫性）の 確認 • 相関係数 • Cronbach's α 因子分析による詳 細な概念の確認 因子数を変えて 意味的な妥当性検証 構成概念の妥当性検証 ・収束的妥当性 ・併存的妥当性 Q1 ---Q2 ---Q3 ---- 推薦受容傾向の高い ユーザ特徴の発見 特徴1 特徴2 提案尺度 関連尺度 関連行動 特徴3 パーソナリティ 受容 傾向 モデル 10

◼ 推薦受容傾向尺度の仕様 ユーザーが自己回答可能にするためにはドメインを決める必要がある ⚫ 製品ではなくコンテンツを対象 ⚫ 比較的短いコンテンツ（音楽や動画）を対象 ⚫ 無料か低価格でコンテンツを鑑賞可能 ⚫ 人の気質的な受け入れ傾向は対象外 ⚫ システムへの信頼ではなく結果への信頼 ⚫ 特定のサービスにおける現在の受け入れ傾向を 測定 11

◼ 推薦受容傾向尺度の設計 方針 ⚫ 推薦システムへの信頼を測定するために従来研究で 代替的に利用されてきた心理尺度を考慮 ⚫ 推薦システムの評価指標（推薦結果の評価）を考慮 ＜従来の尺度＞ ⚫ TAM (Technology Acceptance Model) Perceived Usefulness (PU) Perceived Ease of Use (PE) (Davis, 1989; Armentano, 2015) ⚫ Benevolance (親切性) (Komiak, 2003; Benbasat & Wang, 2005) TAM パス図 external variables (土方, 2014) Perceived usefulness (PU) Perceived easy of use (PE) Intention to reuse 応用先：経営学，マーケティング，教育，医療など 12

◼ 従来の尺度の質問例 ＜TAM-PU＞ (Armentano, 2015) Q. “I found the recommended movies attractive.” Q. “In general, I am satisfied with the recommended movies.” ＜TAM-PE＞ (Armentano, 2015) Q. “My interaction with the recommender system was clear and easy to understand.” Q. “It was easy for me to learn how to use the recommender system.” ＜Benevolance＞ (Benbasat & Wang, 2005) Q. “This virtual advisor puts my interests first.” Q. “This virtual advisor keeps my interests in mind.” 推薦結果に対する一般的な満足 推薦システムに対する主観評価 を問うている 13

◼ 推薦受容傾向尺度の質問 1/3 Q1: 自分は推薦されたアイテム（動画）は，とりあえず選択（視 聴) してみることにしている Q2: 次々とおすすめアイテム（動画）を選択することで，興味のあ るアイテム（動画）を探すことが多い Q3: 今まで見ていたアイテム（動画）とは関係のないジャンルのア イテム（動画）が推薦されてもそれを選択（視聴）することが ある Q4: 次にどのようなアイテム（動画）が推薦されるかを楽しみにし ている ※評価用社会調査では動画を対象 14

◼ 推薦受容傾向尺度の質問 2/3 Q5: 興味がなかった既に知っているアイテム（コンテンツの動画） が推薦されたときに，それを選択することはありますか？ Q6: もともと興味がなかったジャンルではあるが，推薦で初めて 知ったアイテム（動画）を，選択することはありますか？ Q7: 自分の興味には合っていないけれども，推薦されたアイテム （動画）をとりあえず選択（視聴）し，興味がなければすぐに 消費（視聴）を止めるということはありますか？ Q8: 推薦されなければ自分から消費（視聴）しようとは思っていな かったようなアイテム（動画）を選択してしまうことはありま すか？ 15

◼ 推薦受容傾向尺度の質問 3/3 Q9: 推薦されたアイテム（動画）を消費（視聴）しているうちに， もともと好きでなかったジャンルを好きになったことはありま すか？ Q10: 推薦で何度も表示されているうちに，もともと興味がなかっ たジャンルのアイテム（動画）であったけど，最後はそのアイ テム（動画）を選択（視聴）してしまったことはありますか？ Q11: もともと興味がなかったジャンルのアイテム（動画）を消費 （視聴）してしまった後，それに関連するアイテム（動画）が 推薦された時，それらを選択（視聴）することはありますか？ 7段階リッカート尺度で回答 (1-7点) 合計点が高い方が受容している 16

◼ 社会調査の方法 1/3 ⚫ 調査方法：オンライン調査 クラウドソーシングサービス CrowdWorksで実施 アンケートシステム：Google Forms 調査日：2021年4月21日 回答者：631人（報酬：150円/人） 関西学院大学 研究倫理審査 承認済み 推薦受容傾向尺度 ⚫ 対象ドメイン：オンライン動画 対象サービス：YouTube ⚫ 調査票の内容 従来の心 理尺度 ユーザー 行動 推薦受容傾向尺度 信頼に関連する従来の心理尺度 (TAM, overall trust) 信頼に関連するユーザー行動 (YouTubeの利用頻度など) パーソナリティ (BigFive) ユーザー 特性 17

◼ 社会調査の方法 2/3 ⚫ 信頼に関連する心理尺度 TAM Perceived Usefulness (TAM-PU) ユーザが感じる有用性 (Davis, 1989) 「あなたは、YouTubeの推薦機能をどれほど便利だと （価値があると）思っていますか？」 TAM Perceived Easy of Use (TAM-PE) ユーザが感じる使いやすさ（簡単に使えるか） 「あなたは、YouTubeの推薦機能をどれほど使い やすい（簡単に使える）と思っていますか？」 Overall trust 総合的な信頼 (Berkovsky, et al. 2017) 「総合的に見て、YouTubeにおける推薦システムを 信頼することができる」 18 ※1つの質問で尋ねる （7段階リッカート尺度）

◼ 社会調査の方法 3/3 ⚫ 信頼に関連するユーザ行動 YouTubeの利用頻度 動画探索方法 「1. ほとんど見ることはない」〜 「9. 毎日見ている」の9段階 割合 (合計10割) で回答 「8. ほぼ毎日」,「9. 毎日見ている」と 回答した人に１日の視聴時間を ６段階で質問 (2)YouTubeのホームに表示された動画から選択 (1)キーワード検索して選択 (3)動画視聴中の右に表示された動画から選択 (4)登録チャンネルに表示された動画から選択 (5)直接URLを指定して選択 ⚫ パーソナリティ ※(2)と(3)が推薦機能を用いた選択 (ビッグファイブ) TIPI (Ten Item Personality Inventory) (6)その他 (Gosling et al., 2003) 外向性，協調性，誠実性，開放性，神経症傾向 ※それぞれ2つの質問で尋ねる （7段階リッカート尺度） 19

◼ 評価方法 1. 因子分析による下位因子の確認 機能別の受容傾向を測定できるかを確認 2. 内的一貫性の確認 尺度の信頼性を検証 3. 収束的妥当性の検証 信頼と関連すると思われる既存心理尺度との相関を確認 4. 併存的妥当性の検証 信頼から発生すると思われるユーザー行動との関連を確認 構成概念の 妥当性の 検証 5. パーソナリティとの相関分析 推薦受容する傾向にあるユーザーを抽出できるかを確認 20

◼ 因子分析の方法 ⚫ 実施方法 因子数を1〜4の範囲で実施 以下の項目で妥当性を判定 ⚫ 固有値１基準 (固有値が1を超えているか) ⚫ スクリープロットによる急落基準 ⚫ 累積分散70％基準 ⚫ 平行分析法基準 ⚫ 分析方法 最尤法を採用 因子軸の回転法 : バリマックス回転 (Varimax) 因子得点を求める方法 : バートレット法 (Bartlett) min: 11, max: 77 因子数3を採用 21

◼ 因子分析の結果 1/4 因子1 (行動変容) α=0.889 因子2 (意外性反応) α=0.840 因子3 (積極的受容) α=0.785 Q11（興味なかった関連動画を視聴） 0.786 0.355 0.207 Q10（最後は視聴） 0.744 0.382 0.188 Q9（好きになった） 0.682 0.378 0.250 Q8（見ようとは思っていなかった） 0.407 0.696 0.259 Q6（興味がなかったジャンル） 0.376 0.682 0.186 Q7（自分の興味には合っていない） 0.215 0.672 0.250 Q5（興味がなかったコンテンツ） 0.320 0.475 0.098 Q3（関係のないジャンル） 0.387 0.435 0.365 Q2（次々と選択） 0.206 0.164 0.744 Q4（推薦を楽しみ） 0.183 0.133 0.715 Q1（とりあえず視聴） 0.079 0.210 0.662 寄与率 0.211 0.211 0.177 意味的に 解釈可能 な因子を 確認 22

◼ 因子分析の結果 2/4 ⚫ 因子1：行動変容傾向 意外なアイテムや自分の興味とは異なるアイテムが提示された ことで，嗜好に変化が生じたり，その後のアイテム受容に変化 を起こしたりする傾向 Q9 : 推薦された動画を見ているうちに，もともと好きでなかったジャンルを好 きになったことはありますか？ Q10 : 推薦結果で何度も表示されているうちに，もともと興味がなかったジャ ンルやコンテンツの動画であったけど，最後はその動画を視聴してしまっ たことはありますか？ Q11 : もともと興味がなかったジャンルやコンテンツに関する動画を視聴して しまった後，それに関連する動画が推薦された時，それらを視聴すること はありますか？ 23

◼ 因子分析の結果 3/4 ⚫ 因子2：意外性反応傾向 意外なアイテムや自分の興味とは異なるアイテムが提示された ときに，それを受容する傾向 Q3 : 今まで見ていた動画とは関係のないジャンルの動画が推薦されても，そ れを視聴することがある Q5 : 興味がなかった既に知っているコンテンツの動画が推薦されたときに， それを視聴することはありますか？ Q6 : もともと興味なかったジャンルではあるが，推薦で初めて知った動画 (そのジャンルに属するもの) を，視聴することはありますか？ Q7 : 自分の興味には合っていないけど (合っているかどうかわからないけど)， 推薦された動画をとりあえず視聴し，興味がなければすぐに視聴を止める ということはありますか？ Q8 : 推薦されなければ自分から見ようとは思っていなかったような動画を見 てしまうことはありますか？ 24

◼ 因子分析の結果 4/4 ⚫ 因子3：積極的受容傾向 推薦されたアイテムを積極的に受容し，アイテムの発見を推薦 機能に頼っている傾向 Q1 : 推薦された動画は，とりあえず視聴してみることにしている Q2 : 次々とお薦め動画を選択することで，興味のある動画を探すこと が多い Q4 : 次にどのような動画が推薦されるかを楽しみにしている 25

◼ 内的一貫性と因子間の相関 因 子 2 因 子 3 因 子 3 因子1 因子1 因子2 ⚫ ピアソンの積率相関係数 ⚫ クロンバックのα係数 因子1 因子2 因子3 全因子 0.889 0.840 0.785 0.898 各因子は信頼性があり意味もある 因子1 因子2 因子3 因子1 (行動変容) 1.00 --- --- 因子2 (意外性反応) 0.73* 1.00 --- 因子3 (積極的受容) 0.44* 0.49* 1.00 26

◼ 収束的妥当性の検証 ⚫ 信頼と関連する心理尺度との相関 スピアマンの順位相関係数 TAM-PU TAM-PE (Overall trust) (Perceived usefulness) (Perceived ease of use) 因子1 (行動変容) 0.25* 0.32* 0.31* 因子2 (意外性反応) 0.26* 0.30* 0.31* 因子3 (積極的受容) 0.41* 0.42* 0.39* 全因子 (総合) 0.35* 0.40* 0.38* OT (* < .05) すべての因子で, すべての心理尺度との相関あり ※特に, 因子3 (積極的受容傾向) が相関が高い 27

◼ 併存的妥当性の検証 1/3 ⚫ 信頼と関連するユーザ行動との相関 (YouTubeの利用頻度) スピアマンの順位相関係数 因子1 (行動変容) 群1 毎日は 利用しない 8.6 群2 ほぼ毎日利用 2h未満 10.5 群3 ほぼ毎日利用 2h以上 11.6 因子2 (意外性反応) 17.3 19.4 20.0 0.16* 因子3 (積極的受容) 9.8 10.9 11.5 0.16* 全因子 (総合) 35.6 40.7 43.1 0.22* 相関係数 0.27* ※群1〜3を順序変数とみなして * p < .05 YouTubeの利用時間が長いほど推薦受容傾向が高い 28

◼ 併存的妥当性の検証 2/3 ⚫ 信頼と関連するユーザ行動との相関 (YouTubeの利用頻度) 多重比較 * * ボンフェローニ補正のt検定 * p < .05 群1 群2 群3 毎日は 利用しない ほぼ毎日利用 2h未満 ほぼ毎日利用 2h以上 因子1 (行動変容) 8.6 10.5 11.6 因子2 (意外性反応) 17.3 19.4 20.0 因子3 (積極的受容) 9.8 10.9 11.5 全因子 (総合) 35.6 40.7 43.1 毎日YouTubeを利用している人は, 推薦受容傾向が高い 29

◼ 併存的妥当性の検証 3/3 ⚫ 信頼と関連するユーザ行動との相関 (動画探索方法) 動画探索方法 (1)キーワード検索 割合 (合計10割) で回答 (2)YouTubeのホームに表示された動画から選択 (3)動画視聴中の右に表示された動画から選択 (4)登録チャンネルに表示された動画から選択 (5)直接URLを指定して選択 (2)と(3)：推薦機能を利用 (6)その他 トップ ページ 右カラム 両機能 因子1 (行動変容) 0.24* 0.23* 0.29* 因子2 (意外性反応) 0.24* 0.18* 0.24* 因子3 (積極的受容) 0.30* 0.25* 0.36* 全因子（総合） 0.30* 0.24* 0.33* スピアマンの順位相関係数 推薦受容傾向と 推薦機能の利用 割合に相関 30

◼ パーソナリティとの相関分析 ⚫ パーソナリティ (BigFive) スピアマンの順位相関係数 外向性 協調性 勤勉性 神経症 開放性 因子1 (行動変容) 0.072 0.096* -0.015 -0.051 0.116* 因子2 (意外性反応) 0.088* 0.137* 0.005 -0.059 0.103* 因子3 (積極的受容) 0.070 -0.007 -0.037 0.028 0.108* 全因子（総合） 0.093* 0.100* -0.012 -0.045 0.128* 誰が推薦受容傾 向が高いのか？ * p < .05 • • 開放性の高いユーザーは受容傾向が高い 外向性と協調性の高いユーザーは行動変容や 意外性反応が高い 31

◼ 考察 ⚫ 因子分析：行動変容傾向, 意外性反応傾向, 積極的受容 推薦結果への信頼の3つの特性を発見した ⚫ 信頼と関連する心理尺度との相関 行動変容と意外性反応でやや相関が低くなった 浅い信頼の程度を測定する従来尺度 (TAM (Davis, 1989) )より も深い信頼を計測できた ⚫ 信頼と関連する行動との相関 YouTube利用時間：長時間のサービス利用との関係あり 推薦機能に頼る傾向が見られた (Su et al., 2011) ⚫ パーソナリティ 開放性は,「複雑な刺激に注意を向け, 処理する能力と関心」(Weisberg et al., 2011) 32 とあり，最も相関が高くなった

◼ 社会的意義 (Design Implication) ⚫ 推薦結果に対する高い受容傾向を計測可能 個人が推薦に黙従していないかどうか確認することができる ⚫ → 自発的なコンテンツ検索や探索という行動変容に期待 サービス提供者は, 自サービスのユーザーの閲覧/購入の健全さを確 認することができる ⚫ → 社会的に批判されうる行き過ぎたユーザー誘導を回避 ⚫ 下位因子 (行動変容，意外性反応) で測定可能 自分の行動変容や嗜好の変化につながりうる受け入れ 傾向を確認することができる ⚫ → システム由来のサイバーカスケードの起点を消滅 33

◼ 制約 (Limitation) ⚫ 推薦システムに対する気質的な受け入れ傾向ではない ⚫ 比較的短めで，無料か低価格のコンテンツの推薦にしか 使えない ⚫ 同種の複数の推薦システム (e.g. YouTubeとTikTok) に対 する受け入れ傾向を表しているかは不明である ⚫ パーソナリティ以外にも受け入れ傾向に関連するユーザ ー特性はあるかもしれない 34

◼ まとめと今後の課題（大局的視点） 推薦過信 個人 興味や嗜好の乗っ取り 注意の経済的悪用 信頼の測定 深い信頼 推薦受容傾向尺度 問題のある信頼 社会 システム的 サイバーカスケード 誘導への抵 抗・回避手 段の開発 ユーザへの通知方法 過信への自律制御的 自粛機構 推薦過信尺度 情報機構への介入 工学的アプローチ 信頼の推定 代替手段の提供 35

◼ 参考文献 1/4 • Armentano, M. G., Christensen, I．& Schiaffino, S. (2015). Applying the Technology Acceptance Model to Evaluation of Recommender Systems, Poli-bits, 51(51), 73-79. • Ashraf, M., Ahmad, J., Sharif, W., Raza, A. A., Salman Shabbir, M., Abbas, M. & Thurasamy, R. (2020) The role of continuous trust in usage of online product recommendations, Online Information Review, 44(4), 745-766. • Benbasat, I. and Wang, W. (2005). Trust In and Adoption of Online Recommendation Agents, Journal of the Association for Information Systems, 6(3), 72-101. • Berkovsky, S., Taib, R. & Conway, D. (2017). How to Recommend?: User Trust Factors in Movie Recommender Systems, Proc. of the 22nd International Conference on Intelligent User Interfaces (IUI'17), 287-300. • Bikhchandani, S., Hirshleifer, D., & Welch, I. (1992). A Theory of Fads, Fashion, Custom and Cultural Change as Informational Cascades, Journal of Political Economy, 100, 992-1026. • Campell, D. T., & Fiske, D. W. (1959). Convergent and Discriminant Validation by the Multitrait-multimethod Matrix, Psychological Bulletin, 56, 81-105. • Carnap, R. (1956) The Methodological Character of Theoretical Concepts, Minnesota Studies in the Philosophy of Science; 1, Univ. of Minnesota Press. 36

◼ 参考文献 2/4 • Cramer, H., et al. (2008). The Effects of Transparency on Trust and Acceptance in Interaction with a Content-Based Art Recommender, User Modeling and User-Adapted Interaction, 18(5), 455-496. • Cronbach, L. J. & Meehl, P. E. (1955). Construct validity in psychological tests, Psychological Bulletin, 52(4): 281–302. • Davis, F. D. (1989). Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology, MIS Quarterly, 13(3), 319-340. • Gosling, S. D., Rentfrow, P. J., & Swann Jr, W. B. (2003). A Very Brief Measure of the Big-Five Personality Domains, Journal of Research in Personality, 37(6), 504-528. • Gursoy, D., et al. (2019). Consumers Acceptance of Artificially Intelligent (AI) Device Use in Service Delivery, Intl. Journal of Information Management, 49, 157-169. • Harari, Y. N. (2017). Homo Deus: A Brief History of Tomorrow, Harper, 464p. • 土方嘉徳 (2014). 推薦システムのオフライン評価手法, 人工知能学会学会誌, 29(6), 658689. • Hu, R. & Pu, P. (2009). Acceptance Issues of Personality-based Recommender Systems, Proc. of the third ACM Conference on Recommender Systems (RecSys'09), 221-224. 37

◼ 参考文献 3/4 • Hu, R. & Pu, P. (2010). A Study on User Perception of Personality-Based Recommender Systems, Proc. of the International Conference on User Modeling, Adaptation, and Personalization (UMAP'10), Lecture Notes in Computer Science 6075, 291-302. • Jian J. Y., et al. (2000). Foundations for an Empirically Determined Scale of Trust in Automated Systems, International Journal of Cognitive Ergonomics, 4(1), 53-71. • Komiak, S. (2003). The Impact of Internalization and Familiarity on Trust and Adoption of Recommendation Agents, Ph.D Thesis in the University of British Columbia. • Komiak, S. X. & Benbasat, I. (2004). Understanding Customer Trust in Agent- Mediated Electronic Commerce, Web-Mediated Electronic Commerce, and Traditional Commerce, Information Technology and Management, 5(1), 181-207. • Lewis, J. D., & Weigert, A. (1985). Trust as a Social Reality, Social Forces, 63(4), 967985. • MaCorquodale, K. & Meehl, P. E. (1948) On a Distinction between Hypothetical Constructs and Intervening variables, Psychological Review, 55:95-107. 38

◼ 参考文献 4/4 • Pu, P., Chen, L. & Hu, R. (2011). A User-Centric Evaluation Framework for Recommender Systems, Proc. of the fifth ACM Conference on Recommender Systems (RecSys'11), 157-164. • Roffarello, A. M. & Russis, L. D. (2022). Towards Understanding the Dark Patterns That Steal Our Attention, Extended Abstracts of the 2022 CHI Conference on Human Factors in Computing Systems (CHI 2022), Article No.: 274, 7p. • Rulon, P. J. (1946). On the validity of educational tests, Harvard Educational Review 16, 290-296. • Shi, S., et al. (2020). Antecedents of Trust and Adoption Intention toward Artificially Intelligent Recommendation Systems, Journal of Travel Research, 60, 1714-1734. • Su, W., Fang, X., Miller, J. K. & Wang, Y. (2011). Internet-based Intervention for the Treatment of Online Addiction for College Students in China: A Pilot Study of the Healthy Online Self-Helping Center, CyberPsychology, Behavior, & Social Networking, 14(9), 497-503. • Sustein, C. R. (2007). Republic, 2.0 Princeton University Press, 251p. • Weisberg, Y. J., Deyoung, C. G., & Hirsh, J. B. (2011). Gender Differences in Personality across the Ten Aspects of the Big Five. Frontiers in Psychology, 2, 178. 39