トップページタイムラインの裏側 #yjtc / YJTC21 A-1

116 Views

January 12, 21

#yjtc #スライド

スライド概要

Yahoo! JAPANトップページでは、ユーザーの興味関心に応えるレコメンドをタイムラインとして提供しています。
本セッションでは、トップページタイムラインにおけるレコメンドの特徴と、高精度なレコメンドモデルを利用するに当たって避けられない技術的課題、そして技術的課題を解決するために採用しているロジックについてご紹介します。また、安定稼働するシステムを提供するための取り組みに関してもご紹介します。

Yahoo! JAPAN Tech Conference 2021 は2021年1月22日に開催しました。
https://techconference.yahoo.co.jp/2021/

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 194.1K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 92.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 82.9K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 65.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 43.5K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 33.7K

各ページのテキスト

Yahoo! JAPANトップページタイムラインの紹介タイムラインで日本をもっと便利に良いタイムラインは日々の生活を豊かにします • 気になる情報で、退屈しらずで楽しく時間を過ごせる • お得な情報で、週末の行動が変わる • 知らなかった情報で、世の中の見方がすこし変わるスクロール中に「どれからみようかな、あれもこれも気になる……」と迷うくらいのタイムラインを届けたいと考えています ©2021 Yahoo Japan Corporation All rights reserved.

Yahoo! JAPANトップページタイムラインの紹介最近のトピック新しいタイムラインが続々提供されています。ぜひつかってみてください！ • タブ追加機能：グルメ、ファッションなど14種類のタブが追加好きなタブを選んで表示できる • 地域タブ：設定した地域のタブが追加新機能好みのタブが追加できる https://about.yahoo.co.jp/pr/release/2020/09/23a/ 新機能地域タブでくらしを豊かに https://about.yahoo.co.jp/pr/release/2020/10/06b/ ©2021 Yahoo Japan Corporation All rights reserved.

10.

11.

トップページタイムラインの特徴特徴1 ひとりひとりの興味関心に応じたレコメンドユーザーの履歴を利用してひとりひとりの興味関心に応じたレコメンドを作成年代ごと、性別ごと、クラスタごと、ではなく本当にひとりひとりの興味に応じたタイムラインになっている！使えば使うほど興味にマッチしたレコメンドが出るようになっている ©2021 Yahoo Japan Corporation All rights reserved.

12.

13.

14.

トップページタイムラインの特徴レコメンドシステムに求められること二点の特徴を実現しようとするとかなり欲張ったシステムを作らざるをえない想定リクエスト数 • 数千 requests / sec (日中平常時) • 数千 requests * 2 / sec (デイリーピーク時) • 数千 requests * n / sec (Push通知時) レイテンシ • 数十ミリ秒 (平均) • 数百ミリ秒 (99%ile) 機械学習を利用した高精度なレコメンドを作成・返却 ©2021 Yahoo Japan Corporation All rights reserved.

15.

トップページタイムラインの特徴リクエスト数についてユーザーごとのレコメンドを提供したいので作成したレコメンドを使い回すことができないレコメンドシステムへのリクエスト数はタイムラインのリクエスト数と同程度になる (つまりとても多い) 想定リクエスト数 • 数千 requests / sec (日中平常時) • 数千 requests * 2 / sec (デイリーピーク時) • 数千 requests * n / sec (Push通知時) レイテンシ • 数十ミリ秒 (平均) • 数百ミリ秒 (99%ile) 機械学習を利用した高精度なレコメンドを作成・返却 ©2021 Yahoo Japan Corporation All rights reserved.

16.

トップページタイムラインの特徴レイテンシについて最新の記事をレコメンドするために、リアルタイムにレコメンドを作成している (あらかじめ作り置きすると時差が発生する) ユーザーがトップページを開いてからタイムラインを表示するまでの一瞬で、最適化されたレコメンドを作成する必要がある想定リクエスト数 • 数千 requests / sec (日中平常時) • 数千 requests * 2 / sec (デイリーピーク時) • 数千 requests * n / sec (Push通知時) レイテンシ • 数十ミリ秒 (平均) • 数百ミリ秒 (99%ile) 機械学習を利用した高精度なレコメンドを作成・返却 ©2021 Yahoo Japan Corporation All rights reserved.

17.

トップページタイムラインの特徴レコメンドについてリクエスト数やレイテンシの要求が厳しいが、簡単なロジックやモデルでレコメンドしたら本末転倒複雑で高精度なモデルを利用したレコメンドを提供したい想定リクエスト数 • 数千 requests / sec (日中平常時) • 数千 requests * 2 / sec (デイリーピーク時) • 数千 requests * n / sec (Push通知時) レイテンシ • 数十ミリ秒 (平均) • 数百ミリ秒 (99%ile) 機械学習を利用した高精度なレコメンドを作成・返却 ©2021 Yahoo Japan Corporation All rights reserved.

18.

トップページタイムラインの特徴考えるべきポイントとその対策ポイント • レイテンシの制約が厳しい • リクエスト数が多く安定性の面で不安 • どうしても運用が重くなる対策 • ベクトルを利用したレコメンド • 検索エンジンの利用想定リクエスト数 • 数千 requests / sec (日中平常時) • 数千 requests * 2 / sec (デイリーピーク時) • 数千 requests * n / sec (Push通知時) レイテンシ • 数十ミリ秒 (平均) • 数百ミリ秒 (99%ile) 機械学習を利用した高精度なレコメンドを作成・返却 ©2021 Yahoo Japan Corporation All rights reserved.

19.

20.

21.

ベクトルを利用したレコメンド記事ベクトルの作成記事タイトル・本文を用いて、記事内容が集約された「記事ベクトル」を作成あらかじめ、記事を在庫に追加するタイミングで作成記事タイトル本文賢い単語表現賢いAttention 賢い単語表現賢いAttention 効率的に記事内容が抽出されたベクトル表現 Self Attention BERT ©2021 Yahoo Japan Corporation All rights reserved.

22.

23.

24.

ベクトルを利用したレコメンド ※ ロジックの詳細について興味のある方は以下発表をご確認ください (現在のモデルと基本は同じはずです) Okura, Shumpei, et al. "Embedding-based news recommendation for millions of users." Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2017. ベクトル間の内積でランキングするだけだと発生する問題にも対応している • 似たような話題ばかりが出てしまう → 記事ベクトルを利用した類似情報の抑制 • Hotな話題が出ない → PV予測値によるスコアのブースト ©2021 Yahoo Japan Corporation All rights reserved.

25.

ベクトルを利用したレコメンドレコメンドの計算ユーザーのリクエストに同期で実行する唯一の処理最新の在庫記事に対して記事ベクトルとユーザーベクトルの内積を計算。内積が大きい順に掲出複雑で高精度な機械学習モデルを利用したレコメンドが、ごく簡単な処理に落とし込まれている！！システムとして実装・運用する上で非常に重要なポイント！ ©2021 Yahoo Japan Corporation All rights reserved.

26.

27.

ベクトルを利用したレコメンド安定稼働に効くレコメンドが簡単な処理で実現できると・・・数千 requests / sec の安定稼働が現実的になる！ • 記事やユーザーの情報、モデルなど変動しやすく見積もりが難しい要素に計算量が依存しない • どのくらいのリソースを確保すればどれくらいのリクエストが捌けるか見積もりが立つ ©2021 Yahoo Japan Corporation All rights reserved.

28.

ベクトルを利用したレコメンド高精度なモデル作成に効くレコメンドが簡単な処理で実現できると・・・モデル改善に必要なオンライン検証のハードルが下がる！ • モデルを変えるとレイテンシやCPU使用率が変わる場合 • 「新しいモデル試したいんですけど」→「システム影響調査する時間ないから厳しいです」 • モデルを変えてもレイテンシやCPU使用率が変わらないわれわれの場合 • 「新しいモデル試しますね」→「了解です！」 ©2021 Yahoo Japan Corporation All rights reserved.

29.

30.

31.

検索エンジンの利用検索エンジンの利用レコメンドの作成処理はApache Solrとそのプラグインで実行している周囲を取り巻くシステムも存在するが、レコメンドシステムの核は検索エンジン記事評価API群更新通知MQ 記事Feeder 検索エンジンユーザーベクトル DB ユーザーレコメンドAPI 1. 記事が入稿される 2. 記事評価を実行 (記事ベクトルなど作成) 3. 検索エンジンを更新 1. ユーザーからリクエストを受ける 2. ユーザーベクトルを取得する 3. 検索エンジンにリクエストする 4. レスポンスをユーザーに返却 ©2021 Yahoo Japan Corporation All rights reserved.

32.

33.

検索エンジンの利用イレギュラーな要求負荷が高い • 一般的に、検索エンジンの処理はマッチング→ランキング • ほぼ全件マッチした状態でランキングしている、しかもそもそも内積計算が重い → リソースを積んでもらって解決素のSolrにない機能が欲しい • 利用しているロジックの全てがSolrの機能で実現できるわけではない • 内積の計算だけならできなくはないが、他にもロジックは存在している → 社内の専門チームと連携してプラグイン開発をしてもらって解決 ©2021 Yahoo Japan Corporation All rights reserved.

34.

検索エンジンの利用安定稼働のためにやっていることパフォーマンステストを徹底している • リソースが十分かは試してみないとわからない • パフォーマンステスト用のクラスタを使って最悪条件で必ず事前に実施する • レイテンシ・リクエスト数の要求に余裕をもって耐えられないならリソースを積むクエリ設計パフォーマンステストリソース追加改修・リリース ©2021 Yahoo Japan Corporation All rights reserved.

35.

36.

まとめ • Yahoo! JAPANトップページタイムラインは、ユーザーひとりひとりの興味関心に応じたレコメンドをリアルタイムに作成して提供している • あらかじめ作成した記事ベクトル・ユーザーベクトルを利用することで、複雑な機械学習モデルによるレコメンド作成を、単純な処理に落としこんでいる • レコメンド作成の処理を検索エンジンで実行することで、運用負荷を下げつつ、安定稼働を提供している ©2021 Yahoo Japan Corporation All rights reserved.

37.