ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc

631 Views

February 02, 22

#yjtc #検索エンジニアリング #機械学習 #A/Bテスト #地域情報 #ユーザーエクスペリエンス

スライド概要

Yahoo!検索の入力補助機能について、ユーザーの現在位置を考慮することによる改善施策を題材として、施策の検討からオフラインでの実験、A/Bテスト、リリースまでの一連のプロセスについて紹介します。

Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/

アーカイブ動画はこちらからご覧ください。
https://youtu.be/8kXmkBTw0nU

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

検索時にユーザーを⽀援する機能提⽰する候補の改善ユーザーが⼊⼒したい (選択したい) • 候補がより上位に出るようにしたい • 単純な⼿法︓ ユーザの⼊⼒にマッチする候補を、過去の検索頻度順に表⽰ • より発展的な⼿法︓ 機械学習モデルの利⽤ ©2022 Yahoo Japan Corporation All rights reserved. クエリ過去の検索頻度 (例) 表示順位 iphone13 50000 1 iphone12 30000 2 ipad 20000 3 … … …

10.

https://ds.yahoo.co.jp/on-the-map-japan/

11.

12.

地域を考慮する施策の有効性の予備的な確認地域を考慮したクエリ⾃動補完の論⽂ Learning to Personalize Query Auto-Completion (SIGIR2013) 地域ごとに掲出候補をパーソナライズする論⽂全米を10地域に分け、地域別検索数 (ユーザと同じ地域からの検索数）を集計し、機械学習モデルの素性 (feature) に追加しているこの論文を参考に、機械学習モデルで地域を考慮する施策を実施 ©2022 Yahoo Japan Corporation All rights reserved.

13.

地域を考慮する施策の有効性の予備的な確認予備的な検証ヤフーでも地域を考慮する効果がありそうかを検証地域別のQAC⽤インデクスを作り、全国の検索で作られたインデクス(従来)と⽐較 • 全国の検索数で集計したインデクス • 都道府県別で集計したインデクス (例︓愛知県からの検索クエリのみ) それぞれ2週間分の検索数上位10万クエリで集計 ©2022 Yahoo Japan Corporation All rights reserved.

14.

地域を考慮する施策の有効性の予備的な確認予備的な検証 • 愛知のクエリ例︓「愛知コロナ」各県の検索数上位1万クエリ「あ」で検索 (インデクスとは別期間で集計) • そのクエリを上位に出せるか (MRR@10) で評価 • クエリの先頭n⽂字で検索 (n=1,3,5…) • (先頭1文字の場合) スコアは検索数とする愛知のインデクス愛知コロナアイフォンアイリスオーヤマ … 全国のインデクスアイフォンアイリスオーヤマ相棒 … どちらが上位で返せるか ( 良い候補を返せるか)? ©2022 Yahoo Japan Corporation All rights reserved.

15.

地域を考慮する施策の有効性の予備的な確認検証結果 (愛知県の例) 愛知の検索クエリでインデクスを作ったほうが、愛知の検索クエリに対して良い結果 n (入力文字数) 全国のインデクスを愛知のクエリで検索 (MRR@n) 愛知のインデクスを愛知のクエリで検索 (MRR@n) 1 0.108 0.112 3 0.615 0.639 5 0.778 0.789 7 0.831 0.841 10 0.878 0.883 ©2022 Yahoo Japan Corporation All rights reserved.

16.

17.

機械学習モデルのオフライン検証とA/Bテスト機械学習モデル: GBDT (Gradient Boosted Decision Tree) 検索ログのクリックされた候補を正例、それ以外を負例としてモデルを学習素性: 候補が過去に検索クエリとして検索された頻度（全国）など今回は関連検索ワードのクリックログから、関連検索ワード⽤モデルを学習クリック負例 ©2022 Yahoo Japan Corporation All rights reserved. 正例負例負例負例

18.

機械学習モデルのオフライン検証とA/Bテスト機械学習モデルへの地域に関する素性の追加ユーザーの位置情報の都道府県での過去の検索頻度や、その全国における割合などを新たに追加（オフライン・オンラインともに、位置情報の利⽤を許可する設定にしていただいているユーザーの情報のみを、特定の個⼈を識別できないよう加⼯した形で使⽤） ©2022 Yahoo Japan Corporation All rights reserved.

19.

20.

機械学習モデルのオフライン検証とA/Bテスト A/Bテスト (2021年9⽉) 関連検索ワードのCTRが概ね改善スマートフォン CTR (対コントロールバケット比) 検索結果ページ上部 +1.01% 検索結果ページ下部 +1.03% PC CTR (対コントロールバケット比) 検索結果ページ上部 +1.37% 検索結果ページ下部 -1.05% ©2022 Yahoo Japan Corporation All rights reserved.

21.

22.

23.

24.

機械学習モデルのオフライン検証とA/Bテストおわりに • 地域を考慮することによる検索⼊⼒補助の改善を題材に、改善の施策検討からオフラインでの実験、A/Bテスト、リリースまでの改善を回すプロセスを紹介 • ヤフーの持つ⽇本全国の検索データを活⽤ • 今後もデータを活⽤してサービスを便利にしていきます ©2022 Yahoo Japan Corporation All rights reserved.

25.