578 Views
February 02, 22
スライド概要
Yahoo!検索の入力補助機能について、ユーザーの現在位置を考慮することによる改善施策を題材として、施策の検討からオフラインでの実験、A/Bテスト、リリースまでの一連のプロセスについて紹介します。
Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/
アーカイブ動画はこちらからご覧ください。
https://youtu.be/8kXmkBTw0nU
2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp
ユーザーの地域を考慮した検索⼊⼒補助機能の改善の試み ヤフー株式会社 検索統括本部 ⼭本 浩司 ©2022 Yahoo Japan Corporation All rights reserved.
山本 浩司 検索統括本部 データサイエンスの活用によるYahoo! JAPANの サービス改善に従事 現在は検索の入力補助機能の改善を担当 ©2022 Yahoo Japan Corporation All rights reserved.
今⽇お話しすること Yahoo!検索の⼊⼒補助機能の精度の改善をめざして、 ユーザーの地域情報を⽤いた施策の検討、オフライン検証、 A/Bテスト、本番リリースまで⾏った⼀連のプロセス ©2022 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 検索時にユーザーを⽀援する機能 2. 地域を考慮する施策の有効性の予備的な確認 3. 機械学習モデルのオフライン検証とA/Bテスト 4. まとめ ©2022 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 検索時にユーザーを⽀援する機能 2. 地域を考慮する施策の有効性の予備的な確認 3. 機械学習モデルのオフライン検証とA/Bテスト 4. まとめ ©2022 Yahoo Japan Corporation All rights reserved.
検索時にユーザを⽀援する機能 クエリ⾃動補完 (Query Auto Completion, QAC) ユーザーの⼊⼒したい検索クエリを 予測して提⽰ ©2022 Yahoo Japan Corporation All rights reserved.
検索時にユーザを⽀援する機能 関連検索ワード (Query Suggestion) ユーザーの⼊⼒した検索クエリに対して、関連するクエリを提⽰ ©2022 Yahoo Japan Corporation All rights reserved.
検索時にユーザーを⽀援する機能 提⽰する候補の改善 ユーザーが⼊⼒したい (選択したい) • 候補がより上位に出るようにしたい • 単純な⼿法︓ ユーザの⼊⼒にマッチする候補を、 過去の検索頻度順に表⽰ • より発展的な⼿法︓ 機械学習モデルの利⽤ ©2022 Yahoo Japan Corporation All rights reserved. クエリ 過去の検索頻度 (例) 表示順位 iphone13 50000 1 iphone12 30000 2 ipad 20000 3 … … …
アジェンダ 1. 検索時にユーザを⽀援する機能 2. 地域を考慮する施策の有効性の予備的な確認 3. 機械学習モデルのオフライン検証とA/Bテスト 4. まとめ ©2022 Yahoo Japan Corporation All rights reserved.
地域を考慮する施策の有効性の予備的な確認 地域による検索傾向の違い 引用:日本関心度マップ https://ds.yahoo.co.jp/on-the-map-japan/ • 検索クエリの中には、地域によって検索数の分布が異なるものがある ©2022 Yahoo Japan Corporation All rights reserved.
各地域で検索されやすい検索クエリを その地域での検索時に掲出されやすくすることで ユーザーの利便性を改善できないか︖ ©2022 Yahoo Japan Corporation All rights reserved.
地域を考慮する施策の有効性の予備的な確認 地域を考慮したクエリ⾃動補完の論⽂ Learning to Personalize Query Auto-Completion (SIGIR2013) 地域ごとに掲出候補をパーソナライズする論⽂ 全米を10地域に分け、地域別検索数 (ユーザと同じ地域からの検索数)を 集計し、機械学習モデルの素性 (feature) に追加している この論文を参考に、機械学習モデルで地域を考慮する施策を実施 ©2022 Yahoo Japan Corporation All rights reserved.
地域を考慮する施策の有効性の予備的な確認 予備的な検証 ヤフーでも地域を考慮する効果がありそうかを検証 地域別のQAC⽤インデクスを作り、全国の検索で作られたインデクス(従来)と⽐較 • 全国の検索数で集計したインデクス • 都道府県別で集計したインデクス (例︓愛知県からの検索クエリのみ) それぞれ2週間分の検索数上位10万クエリで集計 ©2022 Yahoo Japan Corporation All rights reserved.
地域を考慮する施策の有効性の予備的な確認 予備的な検証 • 愛知のクエリ 例︓「愛知 コロナ」 各県の検索数上位1万クエリ 「あ」で検索 (インデクスとは別期間で集計) • そのクエリを上位に出せるか (MRR@10) で評価 • クエリの先頭n⽂字で検索 (n=1,3,5…) • (先頭1文字の場合) スコアは検索数とする 愛知の インデクス 愛知 コロナ アイフォン アイリスオーヤマ … 全国の インデクス アイフォン アイリスオーヤマ 相棒 … どちらが上位で返せるか ( 良い候補を返せるか)? ©2022 Yahoo Japan Corporation All rights reserved.
地域を考慮する施策の有効性の予備的な確認 検証結果 (愛知県の例) 愛知の検索クエリでインデクスを作ったほうが、 愛知の検索クエリに対して良い結果 n (入力文字数) 全国のインデクスを 愛知のクエリで検索 (MRR@n) 愛知のインデクスを 愛知のクエリで検索 (MRR@n) 1 0.108 0.112 3 0.615 0.639 5 0.778 0.789 7 0.831 0.841 10 0.878 0.883 ©2022 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 検索時にユーザーを⽀援する機能 2. 地域を考慮する施策の有効性の予備的な確認 3. 機械学習モデルのオフライン検証とA/Bテスト 4. まとめ ©2022 Yahoo Japan Corporation All rights reserved.
機械学習モデルのオフライン検証とA/Bテスト 機械学習モデル: GBDT (Gradient Boosted Decision Tree) 検索ログのクリックされた候補を正例、それ以外を負例としてモデルを学習 素性: 候補が過去に検索クエリとして検索された頻度(全国)など 今回は関連検索ワードのクリックログから、関連検索ワード⽤モデルを学習 クリック 負例 ©2022 Yahoo Japan Corporation All rights reserved. 正例 負例 負例 負例
機械学習モデルのオフライン検証とA/Bテスト 機械学習モデルへの地域に関する素性の追加 ユーザーの位置情報の都道府県での過去の検索頻度や、その全国における割合 などを新たに追加 (オフライン・オンラインともに、位置情報の利⽤を許可する設定にしていただい ているユーザーの情報のみを、特定の個⼈を識別できないよう加⼯した形で使⽤) ©2022 Yahoo Japan Corporation All rights reserved.
機械学習モデルのオフライン検証とA/Bテスト オフライン検証 素性追加前のプロダクションで使われているモデルと⽐較して 素性追加後のモデル︓ オフラインMRR +0.56% 改善が⾒られたため、本番環境でのA/Bテストを実施 ©2022 Yahoo Japan Corporation All rights reserved.
機械学習モデルのオフライン検証とA/Bテスト A/Bテスト (2021年9⽉) 関連検索ワードのCTRが概ね改善 スマートフォン CTR (対コントロールバケット比) 検索結果ページ上部 +1.01% 検索結果ページ下部 +1.03% PC CTR (対コントロールバケット比) 検索結果ページ上部 +1.37% 検索結果ページ下部 -1.05% ©2022 Yahoo Japan Corporation All rights reserved.
機械学習モデルのオフライン検証とA/Bテスト 関連検索ワードの例(クエリ︓「イオンモール」) ⼤阪での検索︓⼤阪府内 (+京都、奈良) の店舗が表⽰ 愛知での検索: 愛知県内 (+三重) の店舗が表⽰ ⼤阪 ©2022 Yahoo Japan Corporation All rights reserved. 愛知
機械学習モデルのオフライン検証とA/Bテスト 100%リリース (2021年12⽉) A/Bテストでコントロールバケットと⽐べCTRが改善したため、 サービス側の承認を受けたうえで リリースを実施し、関連検索ワードの本番環境に反映 ©2022 Yahoo Japan Corporation All rights reserved.
アジェンダ 1. 検索時にユーザーを⽀援する機能 2. 地域を考慮する施策の有効性の予備的な確認 3. 機械学習モデルのオフライン検証とA/Bテスト 4. まとめ ©2022 Yahoo Japan Corporation All rights reserved.
機械学習モデルのオフライン検証とA/Bテスト おわりに • 地域を考慮することによる検索⼊⼒補助の改善を題材に、改善の施策検討から オフラインでの実験、A/Bテスト、リリースまでの改善を回すプロセスを紹介 • ヤフーの持つ⽇本全国の検索データを活⽤ • 今後もデータを活⽤してサービスを便利にしていきます ©2022 Yahoo Japan Corporation All rights reserved.
©2022 Yahoo Japan Corporation All rights reserved.