LLMを用いた補完関係推定における判定バイアスに関する基礎的調査

LLMを用いた補完関係推定における 判定バイアスに関する基礎的調査 富澤 千香, 岡本 一志, 軽部 幸起, 原⽥ 慧, 柴田 淳司（電気通信大学） はじめに 実験結果 補完推薦 ある商品と一緒に使うと価値が高まる関係（補完関係）を提示 例：パソコン × マウス ECサイトで重要視され，多数の研究が存在 [Li+, 24] 1. 属性操作による判定の揺れ 現状の課題 人手による判定は労力が大きく拡張性が乏しい ⇒高精度な補完関係の自動判定が必要 LLMの活用により補完関係判定の自動化が可能 しかし事前学習データに起因するバイアスが存在 ⇒ 誤った推薦につながり得る ⇒ 全体的な傾向：LLMと人間の判定変化には差がある 2. 判定バイアスの内訳 過剰反応率： ，未検出率： 本研究の目的 補完推薦の自動化に向け，LLMの判定の安定性を分析 関連研究 を用いた推薦システムにおけるバイアス LLM 生成する推薦リストを統計的に分析し，バイアスを確認 既存研究と本研究の違い 既存研究 [Zhang+, 23] [Sakib+, 24] アプローチ 分析対象 推薦リスト 観点 出力の偏り 関心 結果の公平性 3. 本研究 補完関係の判定過程 判定変化の不一致 推論の安定性 判定バイアス： 属性操作前後でLLMと人間の判定変化が一致しない現象 リサーチクエスチョン ：LLMは補完関係を判定する際にどのような判定バイアスを 示すか RQ2：LLMが⼈間の判定と乖離しない補完関係の判定を⾏うため には，どの程度の情報が必要か RQ1 判定過程への介入 補完関係が本質的に変わらないはずの状況で，商品属性のみを 変えることで判定がどう揺れるか観測する（商品属性操作） データセット ⇒ いずれも一定程度で判定バイアス（変化の不一致）が存在 から商品ペアを手動で収集 商品属性の操作前後でLLMの判定が 変化したぺア：30件 変化しなかったペア：30件 使用モデル：gpt-5-nano 判定バイアスを抑制するための情報の検証 判定バイアスが確認されたため，入力情報の量による抑制効果を検証 入力情報レベル レベル1：商品名＋1属性 レベル2：商品名＋2属性 レベル3：商品名＋2属性＋説明文 結果 過剰反応：大幅に減少 カテゴリ：20件→3件（85%減） ブランド：18件→5件（72%減） 未検出：改善は限定的 → 属性情報の追加は過剰反応抑制に有効 おわりに まとめ 補完推薦の⾃動化において LLMが⽰す補完関係の判定バイアスを分析 LLMは属性操作に対して人間より敏感に反応 判定変化の不一致（判定バイアス）が確認された カテゴリ+ブランドを入力情報に加えることで過剰反応を 大幅に抑制 Amazon.co.jp 被験者実験 今後の展望 データセット（商品カテゴリやドメイン，商品数）の拡張 複数のLLMモデル，プロンプト設計での⽐較 [Li+, 24] L. Li, Z. Du: Complementary Recommendation in E-commerce: Definition, Approaches, and Future Directions, arXiv preprint arXiv:2403.16135, 2024. [Zhang+, 23] J. Zhang, K. Bao, Y. Zhang, W. Wang, F. Feng, X. He:Is Chat GPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation, Proc. 17th ACM Conf. Recomm. Syst., 993-999, 2023. [Sugahara+, 24] K. Sugahara, C. Yamasaki, K. Okamoto:Is It Really Complementary? Revisiting Behavior-based Labels for Complementary Recommendation, Proc. 18th ACM Conf. Recomm. Syst., 1091-1095, 2024 [Sakib+ 24] S. K. Sakib, A. B. Dab: Challenging Fairness: A Comprehensive Exploration of Bias in LLM-Based Recommendations, 2024 IEEE Int. Conf. Big Data, 1585-1592, 2024.