[DL輪読会]Deep Learning based Recommender System: A Survey and New Perspectives

DEEP LEARNING JP [DL Papers] “Deep Learning based Recommender System: A Survey and New Perspectives” Haruka Murakami, Matsuo Lab http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 • • • • ACM Computing Surveys (arXiv公開日：18/09/04) 同タイトルで’17verと’18verがあり、どちらも論文誌掲載(?) 被引用数：75 (’17verから) 著者 – – – – SHUAI ZHANG, University of New South Wales LINA YAO, University of New South Wales AIXIN SUN, Nanyang Technological University YI TAY, Nanyang Technological University (‘18 verから参加) • 内容：近年のDLを用いた推薦システムのレビュー論文 • 選定理由：研究チーム内のプロジェクトの先行研究調査のため ‘17verを読んでいる途中で’18verがアップされました 2

この論文の目的 • ２〜３年ほどでDLを使った推薦システムが一気に増え、従来よりも良 い成果が出ている • DLのレビュー論文がなかったため、各種法を分類し体系立てて整理し、 これからの課題の論点を整理する と書いてあったのですが、参考文献番号 の羅列が多く、詳細やどれがstate-of-theartなのかが明記していなかったので、 手法もしくは用途に書かれている文献を 直接読みに行くほうが早いです。 3

私たちの周囲の推薦システムの実情 • Netflix・・・視聴の80%が推薦から • Youtube・・・視聴の60%がホームの推薦から • RecSys・・・2016年からDLのWorkshop開催 – 現在ではDLが推薦システムに有効だという共通認識

情報推薦のやるべきこと • ユーザモデルやユーザプロファイルを構築後、維持 • 情報過多問題(information overload)を解決するための手段 • 情報検索(information retrieval; IR)や情報フィルタリングの分野に強く 根差す • 説明・・・推薦した経緯をユーザーにわかりやすい理由として提示す る

情報推薦の基礎分類 • 協調フィルタリング – 過去に同じ興味を共有したユーザは将来的も同じような興味を持つという考え – 膨大な集合の中から最も有望な選択肢をフィルタリングし、ユーザが暗黙的に お互いに協調する • コンテンツベース – 評価値行列を基にしてアイテム間の類似行列をオフラインで作成したものから 推薦 – 大規模なWebシステム(amazonなど)によく使われる • ハイブリッド

協調型推薦 • 過去に同じ興味を共有したユーザーは将来的にも同じような興味を持 つであろうという考え方 • 膨大な集合の中から最も有望な選択肢をフィルタリングし、ユーザが 暗黙的にお互いに協調することから協調フィルタリング(collaborative filtering; CF)と呼ばれる。 • 与えられたユーザの評価値行列(rating matrix)をインプットとして使い、 アウトプットとして典型的には – 対象のユーザがあるアイテムを好きかそうではないかを示す度合いの予測値 – N個の推薦アイテムのリスト(top-N) • を生成する

推薦システムにおけるDLの強み、弱み DLの強み 弱点 ・非線形の設計が容易 ・結果の理由が分からない(説 明性がない) ・複雑な特徴抽出が可能 ・データ数がある程度必要 ・時系列モデルが組める ・パラメーターチューニングが めんどくさい ・設計の部分部分の組み換えが 用意 8

協調フィルタリングの実応用 • ユーザーベース協調フィルタリングの欠点 – ピアソンの相関係数によるユーザー類似度 – 最悪、ユーザー×アイテム分の計算量が必要なので、大規模な商用サイトでは 実用的ではない • 予めアイテム間の類似度を算出しておく – 調整コサイン類似度を使う←オフライン処理で事前に計算可能 – Amazonなどで使われている • アイテムの内容を解析せずに精度の高い推薦ができる一方、履歴が乏 しいユーザー・アイテムには適応できない(新規に対応できない〜 コールド・スタート問題)。より詳細なユーザ思考を反映できない。

代表的な課題 • Cold Start問題 – 新規ユーザや新規アイテムは他者との類似度を計算するための材料がないため、 予測が行えない 人/評価 品物A 品物B 品物C 品物D 品物E Aさん ５ ３ ２ １ ？ Bさん ４ ２ ５ ２ ？ Cさん ４ ２(予測) １ １ ？ Dさん ？ ？ ？ ？ ？ • データの疎性(sparcity)問題 – 推薦システムにおいて扱う全アイテム、全ユーザ数に対して、評価付けされた アイテム数が少なすぎる 人/評価 品物A 品物C 品物D ３ Aさん ５ Bさん ・・・ 品物B ４ １ ・・・

最近の研究：レビュー文を使った推薦 ●Joint Deep Modeling of Users and Items Using Reviews for Recommendation(’17) – ２年以内の論文の中で現時点でトップ被引用数 • ユーザーレビューとアイテムレビューを用いて推薦予測を立てた ある人のいろんな物に対する レビュー ある物に対するいろんな人 からのレビュー • これ以前の研究はあくまでアイテムに対するユーザーの点数評価や閲 覧・購入履歴などから推薦予測をしていた • レビュー文が有用であることは分かっていたが、これまでは既存手法 の精度を有意に超えることができなかった 11

最近の研究：レビュー文を使った推薦 • 構造が同じ２つのNNを並 列に並べ、最終層で連結 • それぞれの入力はユー ザーレビュー文とアイテ ムレビュー文 – 全体的には( u, i , rui, wui) ユーザ アイテム 評価値 レビュー文 • レビュー文はWordembedding で入力 – bag of wards を使うのに比 べ、時系列が保たれる 12

最近の研究：レビュー文を使った推薦 • Yelp – レストランの評価 データ(1M) • レビュー文により洗剤変 数を増やすことで精度を 上げられた 13

最近の研究：レビュー文を使った推薦 14

最近の研究：人の知見とDLのドッキング • Examples-rules Guided Deep Neural Network for Makeup Recommendation (AAAI 17’) 化粧前後の写真を使うだけでなく、メイクアップアーティストの知識も入力し、 15

課題とこれからの展望(1) • DLを使った情報推薦で既によくやられていること – ユーザやアイテムのプロファイルの発掘 – 推薦に対する何かしらのフィードバック(説明付けなし) – バックグラウンドを意識した推薦 • あまりやられていないこと – 入手可能な情報全ての有効活用 – SNSなどの”足跡”の活用 – MNISTのようなデータセットがなく、皆が各々に都合の良い視点で研究の評 価を行っている 16

課題とこれからの展望(2) • パラメータ調整と特徴量の設計の自動化をすべき – (推薦に限らないと思うが) • データの種類に関係なく人とアイテムの関係を記述できるモデルの研 究(Joint Representation Learning from User and Item Content info.)が次の トレンドになるのでは • 推薦結果の説明性の向上をもっと進めるべき – ユーザにとって説得力があるだけでなく、モデルを設計する側の人間のモデル に対する理解が深まる – ただし、説明性を持たせることの難しさはドメインによって大きく異なる – 近年はアテンションを使うことにより、特に画像で成果が出てきている 17