Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

1. ヤフーでのサービスとデータサイエンスの関係収益の構成 2019年度決算説明会資料の数値に基づくメディア事業売上収益 3,410億円検索連動型広告 YDN 1,697億円トップリアルタイム検索コマース事業ファイナンス 1052 億円 1,052 天気・災害スポーツナビ ©2022 Yahoo Japan Corporation All rights reserved. GYAO! （動画配信）取扱高プレミアム広告 660億円ビューティー検索 2兆5,936億円ショッピング事業 10,347億円ニュースショッピング知恵袋 ZOZO リユース事業 8,041億円サービス・デジタル 4,462億円 PayPay モールヤフオク! 一休. com LOHACO PayPay フリマ ebook japan その他 3,086億円 ASKUL

8.

1. ヤフーでのサービスとデータサイエンスの関係データ利活用の組織の位置づけメディアカンパニーメディア統括本部検索統括本部コマースカンパニーマーケティングソリューションズ統括本部事業推進室ショッピング統括本部 O2O 統括本部サービス統括本部ヤフオク! 統括本部決済統括本部金融統括本部政策企画統括本部テクノロジーグループデータ統括本部システム統括本部サイエンス統括本部コーポレートグループ財務統括本部 ©2022 Yahoo Japan Corporation All rights reserved. 法務統括本部ピープル・デベロップメント統括本部 SR推進統括本部 2019年度第1四半期決算説明会資料より

9.

10.

2. データ利活用のアプローチアプローチの大枠 2.基盤技術開発＋レディーメイド化自然言語処理 4.カルチャー 論文・記事発表底上げ 学会参加音声処理導入 Yahoo! JAPANトップページタイムライン Yahoo!検索先進技術の取り込み Yahoo!広告（ディスプレイ広告) ショッピング、ヤフオク︕、ZOZO PayPayカード画像/動画処理 社内イベント ex. ポスター発表機械学習 人財交流情報検索 3.レディーメイド導入推進導入 採用・教育 技術調査 1.オーダーメイド構築ログ・ユーザー分析 Yahoo!ファイナンス Yahoo!知恵袋レコメンデーション大規模データ処理 Yahoo!ニュース Yahoo!不動産使いやすさ等 feedback PayPay 求人検索スタンバイ GYAO! ebookjapan … ©2022 Yahoo Japan Corporation All rights reserved.

11.

12.

2. データ利活用のアプローチ 1.オーダーメイドタスク  ヤフーのサービス・ビジネス全体に占める比重が大きく、独自技術でのレバレッジが大きいもの  十～数十人規模のサイエンティストを専任で充てて、先進的なロジック・システムをつくる選択の基準隣接領域との関係 1.オーダーメイド構築 Yahoo! JAPANトップページタイムライン Yahoo!検索 Yahoo!広告（ディスプレイ広告) ショッピング、ヤフオク︕、ZOZO PayPayカード  ビジネス規模・データサイエンス導入によるリターンの大きさ  技術的に今後注力すべきと判断したもの（数年前のフィンテック）  開発した技術のレディーメイド化  レディーメイドが使えれば、独自開発しない ©2022 Yahoo Japan Corporation All rights reserved.

13.

14.

2. データ利活用のアプローチ 2.基盤技術開発＋レディーメイド化タスク選択の基準  サービスで広く使われる先進的な技術を開発  十人以上のサイエンティストで独自ロジック・システムを構築自然言語処理音声処理画像/動画処理  ヤフーのサービス全体への貢献度機械学習  学会や技術コミュニティでのトレンド情報検索  ヤフーに得意な人がいるか︖ 隣接領域との関係 2.基盤技術開発＋レディーメイド化  オーダーメイドで開発された良いものの取り込み  オーダーメイドやレディーメイドでの利用の推進  学会やOSSコミュニティなどで発信 ©2022 Yahoo Japan Corporation All rights reserved. レコメンデーション大規模データ処理ログ・ユーザー分析 …

15.

16.

2. データ利活用のアプローチ 3.レディーメイド導入推進タスク  オーダーメイド程の規模ではないが、サービスの改善が見込めるもの  サービスのエンジニアと協力しながらレディーメイドのツールの導入を行い、サービス改善を行う 3.レディーメイド導入推進 Yahoo!ニュース Yahoo!ファイナンス Yahoo!知恵袋 Yahoo!不動産 PayPay 求人検索スタンバイ GYAO! ebookjapan 選択の基準隣接領域との関係  データサイエンス導入によるリターンの大きさ …  サービス側の優先度の高いもの  レディーメイドの成果の利用し、使いやすさ等をフィードバック ©2022 Yahoo Japan Corporation All rights reserved.

17.

18.

2. データ利活用のアプローチ 4.カルチャータスク  データサイエンスの成果を社内外に広める  社外成果の取り込み  関わる人のレベルアップ具体例  論文2020年度 24件 4.カルチャー 論文・記事発表 学会参加 社内イベント ex. ポスター発表 人財交流 採用・教育 技術調査 EMNLP, COLING, KDD, CHI, SIGSPATIAL, INTERSPEECH, …  Z AI Academia 選択の基準隣接領域との関係  中長期で見たROI、エンジニアやチームのレベルアップにつながるか︖  全データサイエンス領域のレベルアップ ©2022 Yahoo Japan Corporation All rights reserved.

19.

2. データ利活用のアプローチアプローチの大枠 2.基盤技術開発＋レディーメイド化自然言語処理 4.カルチャー 論文・記事発表底上げ 学会参加音声処理導入 Yahoo! JAPANトップページタイムライン Yahoo!検索先進技術の取り込み Yahoo!広告（ディスプレイ広告) ショッピング、ヤフオク︕、ZOZO PayPayカード画像/動画処理 社内イベント ex. ポスター発表機械学習 人財交流情報検索 3.レディーメイド導入推進導入 採用・教育 技術調査 1.オーダーメイド構築ログ・ユーザー分析 Yahoo!ファイナンス Yahoo!知恵袋レコメンデーション大規模データ処理 Yahoo!ニュース Yahoo!不動産使いやすさ等 feedback PayPay 求人検索スタンバイ GYAO! ebookjapan … ©2022 Yahoo Japan Corporation All rights reserved.

20.

21.

3. データ利活用の事例データ活用の事例メディア広告アプローチ Yahoo! JAPANトップページタイムラインの最適化後述ニュースでの不適切コメント対策 ★深層学習による不快判定・関連度判定 Yahoo!検索でのDDの掲出判定深層学習による掲出判定 Yahoo! BEAUTYでのヘアスタイル検索 ★深層学習によるヘアスタイル判別・類似判定 YDAでのCTR/CV予測,年代推定,類似ユーザー拡張深層学習による予測検索での並び順の最適化 ★機械学習による検索ランキング最適化レコメンデーション深層学習等を用いたCTR/CVR予測 eコマースマーケティングメールの配信対象選択機械学習を用いたオファー利用率予測商品のカテゴリ推定・不正商品推定機械学習を用いた商品の判別 PayPayカード入会審査・督促手段の選択機械学習を用いたデフォルト等の予測機械学習ランキングの使える検索のSaaS環境基盤技術 ★深層学習等を用いた汎用レコメンデーションエンジンサービス利用状況に基づくユーザーの汎用ベクトル表現 ©2022 Yahoo Japan Corporation All rights reserved.

22.

3. データ利活用の事例データ活用の事例メディア広告アプローチ Yahoo! JAPANトップページタイムラインの最適化後述ニュースでの不適切コメント対策 ★深層学習による不快判定・関連度判定 Yahoo!検索でのDDの掲出判定深層学習による掲出判定 Yahoo! BEAUTYでのヘアスタイル検索 ★深層学習によるヘアスタイル判別・類似判定 YDAでのCTR予測/年代推定/類似ユーザー拡張深層学習による予測機械学習を使うケースが多いが、モデリングはタスクの一部検索での並び順の最適化 ★機械学習による検索ランキング最適化システム構築、データの整備、評価、更新・監視の仕組みづくり、レコメンデーション深層学習等を用いたclick/CV予測などエンジニアリングの比重も大きい eコマースマーケティングメールの配信対象選択機械学習を用いたオファー利用率予測商品のカテゴリ推定・不正商品推定機械学習を用いた商品の判別 PayPayカード入会審査・督促手段の選択機械学習を用いたデフォルト等の予測機械学習ランキングの使える検索のSaaS環境基盤技術 ★深層学習等を用いた汎用レコメンデーションエンジンサービス利用状況に基づくユーザーの汎用ベクトル表現 ©2022 Yahoo Japan Corporation All rights reserved.

23.

3. データ利活用の事例データ活用の事例メディア広告アプローチ Yahoo! JAPANトップページタイムラインの最適化後述ニュースでの不適切コメント対策 ★深層学習による不快判定・関連度判定 Yahoo!検索でのDDの掲出判定深層学習による掲出判定 Yahoo! BEAUTYでのヘアスタイル検索 ★深層学習によるヘアスタイル判別・類似判定 YDAでのCTR予測/年代推定/類似ユーザー拡張深層学習による予測検索での並び順の最適化 ★機械学習による検索ランキング最適化レコメンデーション深層学習等を用いたclick/CV予測 eコマースマーケティングメールの配信対象選択機械学習を用いたオファー利用率予測商品のカテゴリ推定・不正商品推定機械学習を用いた商品の判別 PayPayカード入会審査・督促手段の選択機械学習を用いたデフォルト等の予測機械学習ランキングの使える検索のSaaS環境基盤技術 ★深層学習等を用いた汎用レコメンデーションエンジンサービス利用状況に基づくユーザーの汎用ベクトル表現 ©2022 Yahoo Japan Corporation All rights reserved.

24.

3. データ利活用の事例 Yahoo! JAPANトップページタイムラインの構築 ①トピックス ②Autopi ③レコメンド  編集チームが公共性や社会的関心に基づき決定  編集チームと機械学習でピックアップした数百の品質の高い記事から、統計×ヒューリスティックなルールで決定  各ユーザーの興味関心を、過去の閲覧記事を元に、RNNで分散表現化（Okura, KDD2017）分散表現でベクトル検索を行い、推薦記事を選択  ベクトル検索は、密ベクトル検索エンジンで実現  記事の単語そのままを利用する場合に比べてクリック率が+23% ⓪その他 ©2022 Yahoo Japan Corporation All rights reserved.  メディアのほぼすべてのサービス（ニュースから、GYAO!、Trill等まで）で入稿された記事・ユーザーログが一元管理されており、分析や機械学習などでの利用が容易

25.

26.

3. データ利活用の事例配信時はパフォーマンスを考慮し内積を使いたい 1 week ago Click yesterday this morning Click Click Click features Model count, average, … 配信時の記事並べ替えは予測モデルではなく内積で ©2022 Yahoo Japan Corporation All rights reserved. user features

27.

3. データ利活用の事例内積が類似度として適切になるよう学習時の損失関数を工夫 An article in similar categories Base article Re-construction loss ©2022 Yahoo Japan Corporation All rights reserved. An article in non-similar categories + Inner product penalty

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

1.ZHDグループとしての取り組み AI倫理に関する有識者会議外部の有識者の方々のご意見をふまえ、委員の構成（敬称略）委員長  大屋雄裕（慶應義塾大学法学部教授）基本方針を明確化し、実効性のある  江間有沙自主ルールを策定していく  河島茂生（東京大学未来ビジョン研究センター（青山学院大学コミュニティ人間科学部  酒井麻千子 → 事業領域は多岐に渡り、会社としての准教授）委員（東京大学大学院情報学環准教授）准教授）  慎ジュンホ（Zホールディングス株式会社取締役GCPO（Group Chief Product Officer））規模もまちまちだが、グループとして  武田英明サポートしていく  田島玲（国立情報学研究所教授）（Yahoo! JAPAN研究所所長） ※五十音順。委員は今後適宜追加予定。 ©2022 Yahoo Japan Corporation All rights reserved.

38.

1.ZHDグループとしての取り組み Z AI アカデミア Zホールディングスの中の「AI人材が集まり共に学ぶ場」 Zアカデミア学長 Zアカデミア学長伊藤羊一氏ボードメンバー LINE株式会社執行役員 AIカンパニーCEO 砂金信一郎氏 ©2022 Yahoo Japan Corporation All rights reserved. ヤフー株式会社 Yahoo! JAPAN CDO 谷口博基氏ヤフー株式会社 Yahoo! JAPAN 研究所所長田島玲氏幹事株式会社一休代表取締役社長榊淳氏アスクル株式会社執行役員兼CDXO 宮澤典友氏株式会社 ZOZO NEXT 取締役 CAIO 野口竜司氏 38

39.

1.ZHDグループとしての取り組み Z AIアカデミアで目指したいこと文理AI人材の育成/量産 Knowledge Sharing Business Collaboration 文理両軸における AI人材育成の推進/加速を目指し ZHDにおける AIに関するナレッジシェアと AIを利用したビジネスコラボレーション促進を行いたい AIテックカンパニーとしての人材・ナレッジ・実践力の底上げへ ©2022 Yahoo Japan Corporation All rights reserved.

40.

41.

2.ヤフーとしての取り組み内部連携 - サイエンスシェア会・ポスターセッションサービス側の開発チーム、サイエンスの推進チーム、研究所など部門横断でそれぞれの取り組み事例を紹介、議論サイエンスシェア会ポスターセッション ©2022 Yahoo Japan Corporation All rights reserved. • 社内なので具体的な数字も含め、より突っ込んだ内容 • 毎週１時間。30分 x 2トピック • 参加者百数十名（オンラインに移行して激増） • 一堂に会して議論する場も不定期で開催。近年はオンライン

42.

2.ヤフーとしての取り組みオープンコラボレーション – 大学等との共同研究  青山学院大学莊司先生  筑波大学上保先生  NII 河原林先生  筑波大学加藤先生  大阪大学天方先生・原先生  東京工業大学下坂先生  お茶の水女子大学椎尾先生  東京工科大学加藤先生  Carnegie Mellon University 渡部先生  東京工業大学奥村先生  九州大学藤澤先生  東京大学中山先生  京都大学吉川先生  京都大学黒橋先生  京都大学平先生  慶應義塾大学大越先生  慶應義塾大学神武先生  慶應義塾大学杉浦先生  筑波大学森嶋先生  筑波大学志築先生 ©2022 Yahoo Japan Corporation All rights reserved.  東京大学瀬崎先生・西山先生  東京大学関本先生  東京大学柴崎先生  東京大学川原先生  東京大学佐藤先生  東北大学鈴木先生  東北大学北村先生  名古屋大学内田先生  奈良先端大学・立命館大学・新潟国際情報大学  奈良先端大学荒牧先生  Purdue University  兵庫県立大学大島先生・山本先生  プリモルスカ大学（University of Primorska ）/Dr. Iztok Savnik  明治大学小松先生・中村先生・宮下先生  明治大学・大阪府立大学  立命館大学上原先生  立命館大学西尾先生  早稲田大学河原先生（五十音順）

43.

2.ヤフーとしての取り組みアウトプット - トップカンファレンスでの積極的な発信論文発表数の増加主な採択（2020-） 120 海外での発表               国内での発表 100 80 60 40 20 0 2013 2014 2015 2016 ©2022 Yahoo Japan Corporation All rights reserved. 2017 2018 2019 2020 AAAI2 0 2 0 SDM2 0 2 0 PerCom 2 0 2 0 ICAS SP2 0 2 0 x2 Mobisys 2 0 2 0 KDD2 0 2 0 U IST2 0 2 0 SOU PS2 0 2 0 CIKM2 0 2 0 InterSpee ch 2 0 2 0 x2 SIGSPATI A L 2 0 2 0 x5 EMN LP2 0 2 0 ISS2 0 2 0 x3 COLIN G2 0 2 0            TEI2 0 2 1 CH I2 0 2 1 (TOCH I ) CH I2 0 2 1 x2 U bicom p2 0 2 1 ( IMWU T) PerCom 2 0 2 1 N AACL-H LT2 0 2 1 Interspee c h2 0 2 1 x3 ISS2 0 2 1 x1 SIGSPATI A L 2 0 2 1 x2 H COMP2 0 2 1 ASR U 2 0 2 1 x3  WSDM2 0 2 2  U bicom p2 0 2 2 ( IMWU T)  TEI2 0 2 2 x2

44.

45.

3.研究開発の事例紹介 WSDM2022 採択論文 1. Web系トップカンファレンスでの採択︕ Doubly Robust Off-Policy Evaluation for Ranking Policies under the Cascade Behavior Model  Haruka Kiyohara ( Tokyo Institute of Technology )  Yuta Saito ( Hanjuku-kaso, Co., Ltd. )  Tatsuya Matsuhiro ( Yahoo Japan Corporation )  Yusuke Narita ( Yale University )  Nobuyuki Shimizu ( Yahoo Japan Corporation )  Yasuo Yamamoto ( Yahoo Japan Corporation ) 2. Yale大成田先生チームとのコラボレーション ©2022 Yahoo Japan Corporation All rights reserved. 3. 「AIの社会実装」のうえで重要なトピック

46.

47.

3.研究開発の事例紹介 WSDM2022 採択論文 Doubly Robust Off-Policy Evaluation for Ranking Policies under the Cascade Behavior Model  Haruka Kiyohara ( Tokyo Institute of Technology )  Yuta Saito ( Hanjuku-kaso, Co., Ltd. ) 既存のロジックで配信されたログ  Tatsuya Matsuhiro ( Yahoo Japan Corporation ) （＝バイアスのあるログ）を使って、  Yusuke Narita ( Yale University ) 新しいロジックの性能を正しく評価したい  Nobuyuki Shimizu ( Yahoo Japan Corporation )  Yasuo Yamamoto ( Yahoo Japan Corporation ) → PDCAを回して AIを磨き込むための土台 ©2022 Yahoo Japan Corporation All rights reserved.

48.

3.研究開発の事例紹介技術的課題 – 「反実仮想（counterfactual）」ログには実績しか残っていない。施策の評価は、もし出さなければ（／出していれば）どうだったか、との比較であるべき（反実仮想）レコメンド有りレコメンド無し実績比較実績実績比較実績実績比較実績 → 社会科学で発展してきた「統計的因果推論」の技術を活用︕ ©2022 Yahoo Japan Corporation All rights reserved.

49.

3.研究開発の事例紹介 WSDM2022 採択論文 Doubly Robust Off-Policy Evaluation for Ranking Policies under the Cascade Behavior Model  Haruka Kiyohara ( Tokyo Institute of Technology ) Doubly Robust Estimator*  Yuta Saito ( Hanjuku-kaso, Co., Ltd. )  Tatsuya Matsuhiro ( Yahoo Japan Corporation ) 主流となってきている、バイアスを補正する推定手法。  Yusuke Narita ( Yale University ) サンプルごとの重みを工夫する手法（IPW）と、観測できていない  Nobuyuki Shimizu ( Yahoo Japan Corporation ) ところを推定する手法（Direct）とのハイブリッド  Yasuo Yamamoto ( Yahoo Japan Corporation ) *) 興味の有る方はこちらを -> "Counterfactual Learning and Evaluation for Recommender Systems" https://sites.google.com/cornell.edu/recsys2021tutorial ©2022 Yahoo Japan Corporation All rights reserved.

https://sites.google.com/cornell.edu/recsys

50.

3.研究開発の事例紹介 WSDM2022 採択論文 Doubly Robust Off-Policy Evaluation for Ranking Policies under the Cascade Behavior Model  Haruka Kiyohara ( Tokyo Institute of Technology ) Doubly Robust を、  Yuta Saito ( Hanjuku-kaso, Co., Ltd. ) 情報検索でよくある  Tatsuya Matsuhiro ( Yahoo Japan Corporation ) リストの評価（Ranking) Yusuke Narita ( Yale University ) 上位に掲載されていたものに結果が影響を受ける仮定 Nobuyuki Shimizu ( Yahoo Japan Corporation ) （Cascade Behavior Model）  Yasuo Yamamoto ( Yahoo Japan Corporation ) という設定に適用 ©2022 Yahoo Japan Corporation All rights reserved.

51.

52.

53.

この後のセッション＜Casual Talk＞＜Talk Session＞ 14:00 14:30 ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～安藤俊介ビッグデータから人々のムードを捉える宮原聡子 16:00 - Yahoo! JAPANのIaaSを支えるKubernetes 17:00 クラスタ、アップデート自動化への挑戦高橋陽太 eコマースと実店舗の相互利益を目指したデザイン 14:30 15:00 平田美緖＜Talk Session＞サイエンス領域におけるMLOpsの取り組み小出明弘＜Talk Session＞ 17:00 – 17:30 ヤフーを支えるセキュリティ～サイバー攻撃を防ぐエンジニアの仕事とは～ Brahma Saurav, 小林怜央 15:00 16:00 ＜Panel Session＞個人や企業によるOSSへの貢献服部典弘、栗原望、武内覚（ゲスト）、瀬尾直利（ゲスト）＜Panel Session＞ 17:30 - 組織におけるデータ文化の育み方 18:30 水田千惠、天神林大士、香川和哉（ゲスト）、嶋村昌義（ゲスト） ©2022 Yahoo Japan Corporation All rights reserved.

54.

Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

Yahoo!デベロッパーネットワーク

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

ゼロから始める転移学習

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

各ページのテキスト