データ事業におけるデータ活用の取り組み

CONFIDENTIAL 2023/01/26 データ事業におけるデータ活⽤の取り組み データソリューション事業 ⼭⼝ 寛 (C)Yahoo Japan 1

CONFIDENTIAL ⾃⼰紹介 • ⼭⼝ 寛 • データソリューション(DS)事業 エンジニアマネージャー • 経歴 広告業務システムの開発 → Hadoopの構築運⽤ → データ事業の⽴上げ時のエンジニア • 直近 ヤフーのデータ事業であるDS事業のエンジニア チームをまとめつつ、バックオフィスやDS.API などのプロダクトを管理 (C)Yahoo Japan 2

CONFIDENTIAL データソリューション事業とは • 2019年10⽉ サービス開始 • マルチビックデータを活かし た分析サービス • サービスラインナップ • DS.INSIGHT • DS.API • DS.DATASET • DS.ANALYSYS (C)Yahoo Japan 3

CONFIDENTIAL Peopleの主な機能 【共起キーワード】 「○○」と⼀緒に検索されているキーワード 【上昇キーワード】 検索キーワードのトレンド (C)Yahoo Japan 【時系列キーワード】 「○○」の前後で検索されているキーワード 【検索推移・地域別特徴度】 検索キーワード「○○」の推移 4

CONFIDENTIAL 今⽇のお話 (C)Yahoo Japan 5

CONFIDENTIAL 今⽇話すこと、話さないこと ■ 話すこと • DS事業の事業運営で活⽤するデータをどう管理してきたか • データ活⽤する上で意識していること • データエンジニアとしてどんな取り組みをしたか ■ 話さないこと • DS事業で提供しているデータの管理や技術的詳細など 参考 : https://tech-verse.me/ja/sessions/133 (C)Yahoo Japan 6

• https://tech-verse.me/ja/sessions/133

CONFIDENTIAL アジェンダ 1）データの活⽤⽬的を明確化 2）事業全体で活⽤する環境整備 3）データを扱える⼈を増やす (C)Yahoo Japan 7

CONFIDENTIAL 事業全体でデータを活⽤するために 1）データの活⽤⽬的を明確化 2）事業全体で活⽤する環境整備 3）データを扱える⼈を増やす (C)Yahoo Japan 8

CONFIDENTIAL To Bサービスでの事業データの活⽤ それぞれの⽬的に合わせて部⾨で対応 請求 広告効果測定 プロダクト成果 売上管理 性能 (C)Yahoo Japan 利⽤状況分析 リード数 9

CONFIDENTIAL To Bサービスでの事業データの活⽤ 請求 広告効果測定 売上管理 性能 (C)Yahoo Japan マーケ部⾨で広告管 理ツールで管理 利⽤状況分析 プロダクト成果 リード数 10

CONFIDENTIAL To Bサービスでの事業データの活⽤ 請求 広告効果測定 売上管理 性能 (C)Yahoo Japan マーケ部⾨で広告管 理ツールで管理 利⽤状況分析 プロダクト成果 リード数 事業部⾨で エクセルや Salesforceなどで管理 11

CONFIDENTIAL ToBサービスとしての事業データ活⽤ 請求 広告効果測定 売上管理 性能 マーケ部⾨で広告管 理ツールで管理 利⽤状況分析 プロダクト部⾨で 独⾃DBで管理 プロダクト成果 リード数 事業部⾨で エクセルや Salesforceなどで管理 各部⾨で活⽤しやすい環境を構築 (C)Yahoo Japan 12

CONFIDENTIAL 個別最適時の環境 ⼀部独⾃管理 営業部⾨ 広告サービスA マーケ部⾨ 広告サービスB LP 申し込み salesforce 事業部⾨ SFレポート 請求 DSプロダクト logger プロダクト部⾨ (C)Yahoo Japan 13

CONFIDENTIAL 個別最適化の結果 ⼀部独⾃管理 営業部⾨ 広告サービスA マーケ部⾨ 広告サービスB 各部で利⽤しやすい環境構築が可能 施策検討なども⼩さく素早く実現ができる LP 申し込み salesforce 事業部⾨ SFレポート 請求 DSプロダクト logger プロダクト部⾨ (C)Yahoo Japan 14

CONFIDENTIAL 個別最適時の課題例（1） 横断したデータ活⽤時に⼿間がかかる • プロダクトの利⽤状況をに応じたマーケティングを⾏いたい • プロダクトの利⽤状況と売上の関係を⾒る 都度集計や設計が必要となり、活⽤までのコストが増⼤ マーケ部⾨ 都度作成 SFレポート マーケ部⾨ 売上 事業部⾨ 事業部⾨ プロダクト部⾨ (C)Yahoo Japan 15

CONFIDENTIAL 個別最適時の課題例（2） 部⾨間でのデータのズレ • 部⾨内では活⽤可能だが、事業と営業で実績に解離が発⽣（最終的には同値） • 値がズレたことで経営判断などでデータの信頼度が低下し活⽤が困難 (C)Yahoo Japan 16

CONFIDENTIAL 個別最適時の課題のまとめ • 横断して分析や利活⽤でのコスト増⼤ • データへの認識齟齬からデータの信頼度の低下 → データ利活⽤の妨げ！ (C)Yahoo Japan 17

CONFIDENTIAL データ活⽤の⽬的を明確化 • ⽬的の明確化 プロダクトとビジネスで横断したデータ活⽤を⾏い事業の意思決定に活かす • そのために データ活⽤を促進するための環境整備 • データエンジニアとして データのフロー策定と事業全体でのデータのマスターを整理 (C)Yahoo Japan 18

CONFIDENTIAL 事業全体でデータを活⽤するために 1）データの活⽤⽬的を明確化 2）事業全体で活⽤する環境整備 3）データを扱える⼈を増やす (C)Yahoo Japan 19

CONFIDENTIAL 事業全体で活⽤する環境整備 • データの品質を担保していくためにマスターデータを作る • 事業全体でデータをつなぐためのキーを管理 • 個別最適にならない活⽤までのデータの流れを整える • データ利活⽤環境の構築 (C)Yahoo Japan 20

CONFIDENTIAL マスターデータを作る (C)Yahoo Japan 21

CONFIDENTIAL どんなマスターデータを作る必要があるのか？ • 事業メンバーがどう扱いたいのか？ • 主要な分析軸はなにか？ (C)Yahoo Japan 22

CONFIDENTIAL どんなマスターデータを作る必要があるのか？ • 事業メンバーがどう扱いたいのか？ • 顧客獲得時は契約単位である企業単位で分析したい • 広告はユーザ単位で届けるが、契約のコンバージョンは企業単位 • プロダクト利⽤はユーザ単位で分析 • 解約予測や利⽤促進のためには企業単位の状況把握 • 主要な分析軸はなにか？ (C)Yahoo Japan 23

CONFIDENTIAL どんなマスターデータを作る必要があるのか？ • 事業メンバーがどう扱いたいのか？ • 顧客獲得時は契約単位である企業単位で分析したい • 広告はユーザ単位で届けるが、契約のコンバージョンは企業単位 • プロダクト利⽤はユーザ単位で分析 • 解約予測や利⽤促進のためには企業単位の状況把握 • 主要な分析軸はなにか？ 契約主体は企業 利⽤はユーザ • クライアントとなる企業軸 • プロダクトを利⽤するユーザ軸 事業全体分析の主キーは企業IDとユーザID (C)Yahoo Japan 24

CONFIDENTIAL 【再掲】個別最適時の環境 ⼀部独⾃管理 営業部⾨ 広告サービスA マーケ部⾨ 広告サービスB LP • 広告などの社外サービス • DS事業のプロダクト • 社内システム 全体を横断してID体系を⾒直しを実施 申し込み salesforce 事業部⾨ SFレポート 請求 DSプロダクト logger プロダクト部⾨ (C)Yahoo Japan 25

CONFIDENTIAL 各システムをつなぐID体系 • salesforceなどの社外サービス • IDや企業情報のマスターとなる社内PF • DS事業のプロダクトのログ 各システムの企業IDを紐づける SF企業ID DS企業ID DS企業ID 社内PF企業ID 社内PF企業ID ユーザID salesforce DS事業の企業マスタ 社内PF DS企業ID マスクユーザID timestamp click (C)Yahoo Japan 利⽤時実績ログ 26

CONFIDENTIAL 事業全体の概要図 社外SaaS 社内PF 申し込み・問い合わせ salesforce クライアント 全社企業管理 Backoffice システム DSプロダクト ユーザID基盤 事業専⽤のBackofficeシステム を中⼼に 企業・ユーザIDを管理しつつ 契約や請求を管理 社外SaaS logger プロダクト利⽤実績 請求代⾏サービス (C)Yahoo Japan 27

CONFIDENTIAL まとめ：マスターデータを作る • 事業をつなぐための企業IDとユーザIDを定義 • 各情報は上記2つのIDに紐づく形で設計することでデータ連携を容易に！ • 分析時のコストを削減し横断的な分析に活⽤ (C)Yahoo Japan 28

CONFIDENTIAL データの流れを作る (C)Yahoo Japan 29

CONFIDENTIAL データを活⽤する上で考慮すること • 個⼈情報への配慮 • 各種社内ルールへの考慮 • 上記を踏まえてのデータ整備とアクセス権限の実現 (C)Yahoo Japan 30

CONFIDENTIAL データを利⽤ユーザの実情 • 事業メンバーの多くは⽣のデータは不要 • KPI実績や利⽤状況の統計情報がわかれば⼗分 • センシティブな情報を意識せず安全に利⽤したい • ルールなど意識せずとも活⽤できる × (C)Yahoo Japan 31

CONFIDENTIAL 活⽤までのデータの流れを整える DataSource （⽣データ） 事業活⽤DataMart Salesforce Backoffice 利⽤実績 ETL (nifi) MySQL BIツールで可視化 (Tableau) 参照 必要な情報の抽出 ・統計化を実施 その他関連情報 (C)Yahoo Japan 32

CONFIDENTIAL まとめ：データの流れを整える • データソースとなる⽣ログやプロダクション情報から必要な情報を抽出 • マスター情報を作るためのキーをもとにデータを集約 • 統計化など⾏い安全に活⽤できる環境を整備 可視化も⾏いマスターデータとして活⽤を促進 (C)Yahoo Japan 33

CONFIDENTIAL 事業全体でデータを活⽤するために 1）データの活⽤⽬的を明確化 2）事業全体で活⽤する環境整備 3）データを扱える⼈を増やす (C)Yahoo Japan 34

CONFIDENTIAL データを扱える⼈を増やす • データが利⽤できる環境を整備するだけではなくデータ活⽤する⼈を増やす → データ利⽤のハードルを下げる (C)Yahoo Japan 35

CONFIDENTIAL データを扱える⼈を増やす • データ活⽤の⽅法による提供環境の整理とアクセス権限の整理 • センシティブなデータへの影響を最⼩化 アクセス権の例 対象ユーザ想定 想定ツール 意思決定する⼈ KPI参照ができれば良いので tableauのダッシュボードを参照 エクセルなどで数字のシミュレーションを⾏う⼈ tableauからデータをDLして分析 アドホック時は各部⾨管理のデータソースを活⽤ SQLやtableauなど直接操作し分析が必要な⼈ ダッシュボードを作成する⼈ データマートへの参照権限 深い分析を⾏う必要がある⼈ データマートに加えて、必要に応じてデータソースへ のアクセス件 (C)Yahoo Japan 36

CONFIDENTIAL 活⽤までのデータの流れを整える DataSource Salesforce 事業活⽤DataMart 深い分析を⾏う⼈ ダッシュボード作成 アナリスト 直接SQLなどで抽出 広告管理ツール シミュレーションする⼈ データをDLし活⽤ 利⽤実績 その他関連情報 (C)Yahoo Japan ETL (nifi) MySQL BIツールで可視化 (Tableau) 経営判断する⼈ 参照して判断 37

CONFIDENTIAL データを扱える⼈がなぜ増やせるか？ • データマートやtableauのデータはルールに則り活⽤可能 • 社内ルールなどに則り統計化など整備済みデータ • 安全を担保したデータのため攻めの利⽤も可能 • 社内活⽤する上で問題が起きないため事業メンバー全員へ権限付与も可能 • tableauのダッシュボードからデータダウンロード提供 • 実際に気になる利⽤者はデータをダウンロードして⼿元で分析 • データ作成者は事業のアナリストで不明なところはSlackで相談可能 安全に利⽤でき、分析相談もできたことで徐々に利⽤者が増加 (C)Yahoo Japan 38

CONFIDENTIAL まとめ (C)Yahoo Japan 39

CONFIDENTIAL まとめ ■データ事業でデータ活⽤するために取り組んだこと 1. マスターとなるID体系を作成 ID体系を整備することで横断的なデータ利活⽤が可能 分析コストの削減にもつながる 2. 安全に活⽤できるデータを整備する データフローを作るとともに、各種ルールに準拠できる仕組みを構築 → 活⽤の流れや仕組みができたことで機能追加時にも考慮可能に！ (C)Yahoo Japan 40

CONFIDENTIAL Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 41