ヤフーの検索基盤と機械学習検索ランキング #yjtc / YJTC21 B-7

ヤフーのサービスにおける検索検索で日本をもっと便利に多数のユーザに利用されている「検索」を改善し、 • 日々の疑問や悩みを解決するQ&Aが見つかりやすいように • 自分の興味にあったニュースが表示されるように • 条件にあった仕事が見つけやすいようにこのような改善の裏にある、検索基盤や機械学習モデルの適用について紹介する ©2021 Yahoo Japan Corporation All rights reserved.

9.

ヤフーのサービスにおける検索多数の検索サービスを抱えるヤフーにおける課題新機能開発について機械学習の活用について • サービス毎に異なる要件に対応したい • 似た機能の開発はまとめ、共有したい • etc. • 機械学習ランキングモデルを適用したい • モデル改善用のデータ収集機能が欲しい • 新しい特徴量計算ロジックを追加したい • etc. ©2021 Yahoo Japan Corporation All rights reserved.

10.

11.

12.

ヤフーのサービスにおける検索全文検索について複数の文書（SHPなら商品、知恵袋なら質問にあたる）から特定の文字列が入った文書を検索すること検索キーワード鯛 1. 鯛（タイ、英: sea bream）とは、広義にはスズキ目タイ科の… 2. たい焼きは、鯛を形とった金属製焼き型で… 3. 人気たい焼き店ランキングTOP10… （マグロについての記事で、文字列「鯛」がないので検索対象外） ©2021 Yahoo Japan Corporation All rights reserved.

13.

14.

[beta]

検索を支えるシステム基盤
Apache Solr
• 全文検索を実現するOSSの検索エンジンとして、主流なもののうちの一つ
• 検索キーワードを指定し、キーワードを含む適合度の高い文書を返却
$ curl “http://<SOLR_HOST>:8983/solr/collection/select?q=みかん”
{
ヒット件数: 8200,
文書リスト: [
{“name”: “温州みかん 3kg”},
{“name”: “有田みかん 2kg”},
…
検索キーワード
©2021 Yahoo Japan Corporation All rights reserved.

15.

検索を支えるシステム基盤 ABYSS Apache Solrをベースとした社内向けマネージドサービス • SolrCloud as a Service • ユーザはWebUIから新規クラスタ構築 • 設定ファイルの更新もWebUIから可能 • Solrの高い拡張性を利用し、プラグイン開発によりビジネスロジックに対応 • 機械学習ランキング、重複排除、ベクトル検索、etc. サービス ABYSS サービス用クラスタの構築 ©2021 Yahoo Japan Corporation All rights reserved.

16.

17.

検索基盤におけるサービスロジック開発 ABYSSにおける機能拡張方針ユーザの多い検索基盤において、どのように開発すれば • サービス固有の機能を追加できるか？ • 機能の再開発を防ぎ、改善効率をあげられるか？個々のサービスに必要な機能をプラグインとして開発 • サービス独自のビジネスロジックを実現し、個別に適用可能 • プラグインは社内で共有されており、どのサービスでも利用可能 ©2021 Yahoo Japan Corporation All rights reserved.

18.

19.

20.

21.

22.

機械学習ランキングプラグイン Multi-phase ランキングプラグイン機械学習モデル適用を可能にするSolr用プラグイン • 複数フェーズでのスコア計算が可能例). 第1フェーズ：語の出現頻度でランキング上位N件（Nは任意の値に設定可能）第2フェーズ：機械学習モデルでランキング絞られた文書集合に高精度なモデルを適用し、計算コストを削減 ©2021 Yahoo Japan Corporation All rights reserved.

23.

[beta]

機械学習ランキングプラグイン
機械学習モデルの適用例
1
{
2
"collectPhase": {
3
"parser": "rank-expression",
← 語の頻度を元にしたランキング
4
"expr": "BM25"
5
},
6
"rerankPhases": {
7
"mlrPhase": {
8
"parser": "rank-expression",
9
"expr": "mlr * xxx - yyy ...",
← 機械学習モデルを利用したリランキング
10
"rerankCount": 12345
11
}
12
},
13
"macros": {
14
"mlr": {
15
"parser": "model-json",
16
"expr": "file:/path/to/the/model/file"
17
}
18
}
19
}
©2021 Yahoo Japan Corporation All rights reserved.

24.

機械学習ランキングプラグインランキング機構を独自実装することで… 検索処理の高速化 • サービスデータの分布を利用した検索処理コストの軽量化 • 99.9%ile レイテンシを30%以上高速化機械学習用データの収集 • スコアリング時の特徴量データを直接社内のデータ基盤に送信他プラグインとの併用 • 文書ベクトルを用いた返却結果の重複排除 • ベクトルデータ用のフィールドを開発し、その類似度で重複判定 ©2021 Yahoo Japan Corporation All rights reserved.

25.

ヤフーのサービスを支える検索基盤 • ヤフーのサービスにおける検索技術利用されている検索基盤について紹介 • SolrCloud as a Serviceな基盤で、Web UIから各種操作可能 • 数多くのサービスで利用される検索基盤における機能開発 • サービス毎にプラグイン開発を行うことで、独自のロジックに対応 • プラグイン・ノウハウ共有しながら利用するコミュニティを形成 • 機械学習ランキングプラグインの開発 • 複数フェーズ化や各種高速化機能の実装で複雑なモデルの適用を実現 • 重複排除機能など、他のプラグインとの併用も可能 ©2021 Yahoo Japan Corporation All rights reserved.

26.

27.

28.

29.

30.

機械学習による検索ランキング改善の事例紹介 (1/2) 求人検索エンジン • 機械学習検索ランキングを初めて導入 • 導入して3ヶ月で CTR +29% ※環境要因や同時に行っていたUI改善の成果も含む CTR（相対値） 100% (6月) 129% (9月) ヤフーの検索改善の特徴 1 新規サービスの機械学習検索ランキング導入が早い ©2021 Yahoo Japan Corporation All rights reserved.

31.

機械学習による検索ランキング改善の事例紹介 (2/2) ヤフーショッピング商品検索 • 5年程度機械学習検索ランキングの改善を継続 • 要所で基盤チーム開発の独自プラグインを導入 • 機械学習モデルの改善は継続すると徐々に頭打ちになるが 2019H2は検索経由流通総額 +2.2% と大きい成果ヤフーの検索改善の特徴 2 独自の検索技術を実装し、非連続的な改善が可能 ©2021 Yahoo Japan Corporation All rights reserved.

32.

33.

34.

35.

検索ランキングの改善良いランキングとは「良いランキング」の定義はサービスによって異なる 1. 検索結果に対するユーザアクション（クリック等）を増やしたい 2. 定性的に良い文書を上位に出したい 3. 特定のクエリで特定の文書を必ず出したい … ヤフーでは主に 1. を目的に機械学習を用いた検索ランキング改善を行っている ©2021 Yahoo Japan Corporation All rights reserved.

36.

検索ランキングの改善ランキング改善 = 「良いランキングスコア」を見つけることランキングスコア：ランキングの基準となるスコアマッチングした文書集合 0.2 0.8 0.5 スコア順にソートランキング結果 0.8 0.5 0.2 検索ランキング改善とは「良いランキング」に相関する「良いランキングスコア」を見つけること ©2021 Yahoo Japan Corporation All rights reserved.

37.

検索ランキングの改善ランキングスコアは無数に考えられる • 検索エンジンに実装されたSimilarityスコア • 更新日時 • Similarityと更新日時のハイブリッド { (0.6 * Similarity + 0.4 * 更新日時) (0.5 * Similarity + 0.5 * 更新日時) ... • … どれが良い（例：ユーザアクションと相関する）か分からないあらゆるランキングスコアをテストするのは困難機械学習検索ランキング ©2021 Yahoo Japan Corporation All rights reserved.

38.

39.

40.

41.

42.

43.

44.

ヤフーにおける機械学習検索ランキング検索ランキング改善のサイクルサービス・モデリング一緒にアイデアを出し合う改善案を出すサービスモデリングオフライン評価モデリングオフライン指標を確認改善していたらABテスト ABテストサービス ABテスト結果分析モデリング ABテストのログを分析改善していたらリリースリリース基盤 ©2021 Yahoo Japan Corporation All rights reserved.

45.

ヤフーにおける機械学習検索ランキングランキングモデルの学習サービスログ > ユーザアクションの多さ検索エンジンログ f1 = 10 f2 = 15 文書に紐づく特徴学習データ特徴+順序関係 Apache Hive Apache Spark ランキングモデル LightGBM より詳しい内容はこちらのスライド ※Speaker Deckで公開済みヤフーにおける機械学習検索ランキングの取り組み Search Engineering Tech Talk 2019 Autumn 2019/12/4 ヤフー株式会社サイエンス統括本部鈴木翔吾 ©2021 Yahoo Japan Corporation All rights reserved.

46.

ヤフーにおける機械学習検索ランキングランキングモデルの運用 | 特徴量の異常検知 (1/2) ランキングモデルは文書に紐づく特徴量をもとにスコア計算する f1 = 10 f2 = 15 f( ) = f(10, 15) = 0.8 特徴量に異常があると正しくランキングスコアを計算できない f1 = 10 f2 = -inf f( ) = f(10, -inf) = ????? ©2021 Yahoo Japan Corporation All rights reserved.

47.

ヤフーにおける機械学習検索ランキングランキングモデルの運用 | 特徴量の異常検知 (2/2) 特徴量の値を監視して、異常値がある場合は自動で前日の特徴量を利用 → 翌営業日対応で済むため運用コストが小さくなる 7/1 f1 = 10 f2 = 12 f( ) = f(10, 12) = 0.2 7/2 f1 = 11 f2 = -inf 異常値なので前日の特徴量を利用 f( ) = f(11, 12) = 0.21 ©2021 Yahoo Japan Corporation All rights reserved.

48.

49.

検索改善チームの成果と今後ヤフーの検索改善チームはここがスゴイ！ (1/2) • 基盤チーム・モデリングチームは複数サービスの検索改善を担当 • 様々なノウハウが貯まり、新規サービスの機械学習検索ランキング導入が早い • 〇〇は検索エンジンで実現できる？ • 検索エンジンのチューニングは何をすれば良い？ • モデルを作るためにどんなログを落とせばいい？ • オフライン評価は何を選べば良い？ • 機械学習モデルの監視は何を見れば良い？ … サービス基盤モデリング • △△はできますが □□は難しいと思います • 一般的には〜するのが良いです • 別サービスは☆☆をしています • ◇◇は一度検証しましたがうまくいきませんでした ©2021 Yahoo Japan Corporation All rights reserved.

50.

検索改善チームの成果と今後ヤフーの検索改善チームはここがスゴイ！ (2/2) サービスモデリング〇〇したいけど検索エンジンに実装されてない…… 残念だけどあきらめようかな需要があるならプラグインを実装します。やりましょう！！基盤サービスモデリングスゴイ！！！！ありがとうございます！！！独自の検索技術を実装し、非連続的な改善が可能 ©2021 Yahoo Japan Corporation All rights reserved.

51.

検索改善チームの成果と今後（再掲）機械学習による検索ランキング改善の事例紹介 (1/2) 求人検索エンジン • 機械学習検索ランキングを初めて導入 • 導入前と比べて CTR +29% ※環境要因や同時に行っていたUI改善の成果も含む CTR（相対値） 100% (6月) 129% (9月) ヤフーの検索改善の特徴 1 新規サービスの機械学習検索ランキング導入が早い ©2021 Yahoo Japan Corporation All rights reserved.

52.

検索改善チームの成果と今後（再掲）機械学習による検索ランキング改善の事例紹介 (2/2) ヤフーショッピング商品検索 • 5年程度モデル改善を継続 • 要所で基盤チーム開発の独自プラグインを導入 • 機械学習モデルの改善は継続すると徐々に頭打ちになるが 2019H2は検索経由流通総額 +2.2% と大きい成果ヤフーの検索改善の特徴 2 独自の検索技術を実装し、非連続的な改善が可能 ©2021 Yahoo Japan Corporation All rights reserved.

53.

検索改善チームの成果と今後検索改善チームの今後サービスの方がより簡単に、精度の良い検索ランキングを実現できるようサービス需要に合わせた技術を獲得するランキングモデルが多数存在しモデル管理が課題に MLOps ベクトル検索の需要の高まり Approximate Nearest Neighbor (ANN) ©2021 Yahoo Japan Corporation All rights reserved.

54.

55.

ヤフーの検索基盤と機械学習検索ランキング #yjtc / YJTC21 B-7

Yahoo!デベロッパーネットワーク

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

ゼロから始める転移学習

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

各ページのテキスト