YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例

Yahoo!ショッピングの サービスデータ活用事例 ヤフー株式会社 ショッピングカンパニー プロダクション2本部 データ・CRM技術部 技術1 藤木 貴之 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

はじめに… ServiceGrowthに、データ活用は必要不 可欠 PLAN 計画 データによる 課題発見、仮説立て Action 改善 効果をデータで 定量的にはかる Do 実行 Check 評価 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データを用いた 施策展開

今日お話すること Yahoo!ショッピングのServiceGrowthを支える データPFとデータ活用事例の紹介 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

アジェンダ 1. 自己紹介 2. Yahoo!ショッピングについて 3. Yahoo!ショッピングにおけるデータ利活用事例紹介 1. データPFについて 2. データドリブンへのアプローチ 4. 今後の展望 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

アジェンダ 1. 自己紹介 2. Yahoo!ショッピングについて 3. Yahoo!ショッピングにおけるデータ利活用事例紹介 1. データPFについて 2. データドリブンへのアプローチ 4. 今後の展望 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

自己紹介 名前：藤木 貴之 (ふじき たかゆき) 2013年新卒でヤフーに入社 ショッピングカンパニーに配属され、現在Yahoo!ショッピングのデータPFリーダー ✓ ストア様向けの統計ツール開発・運用 ✓ 社内向け可視化ツール開発・運用 ✓ BIツール導入 ✓ データPF刷新・構築 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

アジェンダ 1. 自己紹介 2. Yahoo!ショッピングについて 3. Yahoo!ショッピングにおけるデータ利活用事例紹介 1. データPFについて 2. データドリブンへのアプローチ 4. 今後の展望 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

Yahoo!ショッピング Yahoo! JAPANが運営する オンラインショッピングモール 年間流通総額：4788億円 ※ 2016年度、ショッピング事業単体 出店ストア数：約60万店舗 商品数：約2.9億商品 ※ 2017年度第2四半期決算発表の「事業指標 推移表」より Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

アジェンダ 1. 自己紹介 2. Yahoo!ショッピングについて 3. Yahoo!ショッピングにおけるデータ利活用事例紹介 1. データPFについて 2. データドリブンへのアプローチ 4. 今後の展望 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

全社のデータPF Hadoop 4100 nodes 10 120 PB Teradata 6690 Teradata 2800 1.7 PB Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. S3互換 ストレージ 250億 ファイル

Yahoo!ショッピングのデータPF Hadoop 専用領域 4100 nodes 11 約300TB 120 PB ログなどの大容量 データ処理基板 Teradata 6690 Teradata 2800 専用領域 1.7 PB 約110TB システムOLAP S3互換 ストレージ 250億 専用領域 ファイル ユーザー分析 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データストア

Yahoo!ショッピングのデータPF ショッピングEDW Hadoop 専用領域 4100 nodes 12 約300TB 120 PB ログなどの大容量 データ処理基板 Teradata 6690 Teradata 2800 専用領域 1.7 PB 約110TB システムOLAP S3互換 ストレージ 250億 専用領域 ファイル ユーザー分析 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データストア

Yahoo!ショッピングのデータPF ショッピングEDW Hadoop Teradata Teradata 6690 2800 Yahoo!ショッピングに必要なデータを S3互換 ストレージ 集約、一元管理（ETL） 4100 nodes 専用領域 13 約300TB 120 PB ログなどの大容量 データ処理基板 専用領域 1.7 PB 約110TB システムOLAP 250億 専用領域 ファイル ユーザー分析 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データストア

アジェンダ 1. 自己紹介 2. Yahoo!ショッピングについて 3. Yahoo!ショッピングにおけるデータ利活用事例紹介 1. データPFについて 2. データドリブンへのアプローチ 4. 今後の展望 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

Yahoo!ショッピングのデータドリブンへのアプローチ データ・ドリブン ServiceGrow th Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

Yahoo!ショッピングのデータドリブンへのアプローチ データ・ドリブン 意思決定をデータで ・サービスのコンディションを知れる ・施策の効果測定がすぐできる(A/Bテスト) ・改善のためのファクトが発見できる ServiceGrow th Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データ分析環境

Yahoo!ショッピングのデータドリブンへのアプローチ データ・ドリブン 意思決定をデータで ・サービスのコンディションを知れる ・施策の効果測定がすぐできる(A/Bテスト) ・改善のためのファクトが発見できる ServiceGrow th データ分析環境 サービス提供をデータで ・欲しいデータを簡単に引ける →ユーザー属性（パーソナライズ） →注文 →商品 …And more Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データ利活用環境

Yahoo!ショッピングのデータドリブンへのアプローチ データ・ドリブン 意思決定をデータで ・サービスのコンディションを知れる ・施策の効果測定がすぐできる(A/Bテスト) ・改善のためのファクトが発見できる ServiceGrow th データ分析環境 サービス提供をデータで ・欲しいデータを簡単に引ける →ユーザー属性（パーソナライズ） →注文 →商品 …And more Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データ利活用環境

データ分析環境概要 ショッピングEDW Engineer Analyst Marketter Sales MicroStrategy/TableauなどのBIを元に ショッピングEDWをフル活用した ROLAPな分析環境を提供 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

以前(数年前)までの分析環境構成 Raw Mart Mart Mart BI Mart Mart Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. Engineer Analyst Marketter Sales

以前(数年前)までの分析環境構成 ～独立型Mart～ 1つ1つの分析要件に対してMartを作成していく Mart Raw1レポート毎のレイテンシは低いが… Mart BI Mart ・同じ定義なのに、Mart間の数字が合わない ・バグが発生すると修正範囲が甚大 Mart ・煩雑なデータフローになり、拡張性が低い Mart Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. Engineer Analyst Marketter Sales

現在の分析環境 現在のデータフロー Teradat a Raw ファクト ファクト ファクト Engineer Analyst Marketter Sales BI ディメンション ディメンション ディメンション サービスMart Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. …… And more!!

現在の分析環境 現在のデータフロー Teradat a Raw ファクト ファクト ファクト Engineer Analyst Marketter Sales BI ディメンション ディメンション ・スタースキーマ化 ・多次元モデル化 ・MDM化 ・サロゲート化 ディメンション サービスMart Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. …… And more!!

現在の分析環境 現在のデータフロー Teradat a Raw ファクト ファクト ファクト Engineer Analyst Marketter Sales BI ディメンション ディメンション ・スタースキーマ化 ・多次元モデル化 ・MDM化 ・サロゲート化 ディメンション サービスMart 必要に応じた Copyright 2018 Yahoo Japan Corporation. AllMart作成 Rights Reserved. …… And more!!

現在の分析環境 現在のデータフロー Teradat a Raw ファクト ファクト ファクト BI ディメンション BIと組み合わせて ユーザーが分析時に インタラクティブに 見たいデータの レポーティングが できる環境を提供 Engineer Analyst Marketter Sales ディメンション ・スタースキーマ化 ・多次元モデル化 ・MDM化 ・サロゲート化 ディメンション サービスMart 必要に応じた Copyright 2018 Yahoo Japan Corporation. AllMart作成 Rights Reserved. …… And more!!

様々な分析環境を提供（MicroStrategy） ユーザーがセルフでインタラクティブに アドホック分析が可能 スライシング ドリルダウン Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

様々な分析環境を提供（MicroStrategy） 導線分析 KPI 分 析 AB テ ス ト で 効 果 検 証 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

データPFを中心とした改善プロセス KPI分析 仮説 データ分析 意思決定 リリース EDW 効果測定 ABテスト Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

Yahoo!ショッピングのデータドリブンへのアプローチ データ・ドリブン 意思決定をデータで ・サービスのコンディションを知れる ・施策の効果測定がすぐできる(A/Bテスト) ・改善のためのファクトが発見できる ServiceGrow th データ分析環境 サービス提供をデータで ・欲しいデータを簡単に引ける →ユーザー属性（パーソナライズ） →注文 →商品 …And more Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データ利活用環境

ショッピングEDW（データPF）を利用したサービス提 供 チャネ ル Web Yahoo!ショッピング CRMシステム メール ショッピングEDW AppPush … Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

ショッピングEDW（データPF）を利用したサービス提 供 チャネ ル Web Yahoo!ショッピング CRMシステム メール ショッピングEDW AppPush … Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

ユーザーのプロファイル情報を作成 デモグラフィック サイコグラフィック ビヘイビア ショッピングEDW Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

ショッピングEDW（データPF）を利用したサービス提 供 チャネ ル Web Yahoo!ショッピング CRMシステム メール ショッピングEDW AppPush … Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

ショッピングEDW（データPF）を利用したサービス提 供 Webモジュールにて ターゲティングされたユー ザーに クーポン情報表示 … Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

ショッピングEDW（データPF）を利用したサービス提 供 チャネ ル Web Yahoo!ショッピング CRMシステム メール ショッピングEDW AppPush … Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

ユーザーの購買予測確率を作成 食品カテゴリの購買確率： 95.23…％ 家電カテゴリの購買確率： 22.13…％ 回帰分析を用いたモデルを構 築 … 花カテゴリの購買確率：39.53…％ ペット用品カテゴリの購買確率： 80.94…％ … ショッピングEDW コスメカテゴリの購買確率：76.25…％ コンタクトレンズカテゴリの購買確率： 93.15…％ … 米の購買確率：30.54…％ 水カテゴリの購買確率：76.13…％ …… モデルを使って 予測確率を計算 … 様々なカテゴリ毎に ユーザー単位で購買確率を作成 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

ユーザーの購買予測確率を作成 食品カテゴリの購買確率： 95.23…％ ターゲティングにて利用 花カテゴリの購買確率：39.53…％ 従来の人の手による手動の ペット用品カテゴリの購買確率： 80.94…％ セグメントと比較し、 … 家電カテゴリの購買確率： 22.13…％ 回帰分析を用いたモデルを構 築 … ショッピングEDW CVRが2倍以上 経由流通が4倍以上に！ コスメカテゴリの購買確率：76.25…％ コンタクトレンズカテゴリの購買確率： 93.15…％ … 米の購買確率：30.54…％ 水カテゴリの購買確率：76.13…％ …… モデルを使って 予測確率を計算 … 様々なカテゴリ毎に ユーザー単位で購買確率を作成 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

データPFの整備が非常に重要 DataAnalysis &Using DataPreparation &Janitor-Work Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

アジェンダ 1. 自己紹介 2. Yahoo!ショッピングについて 3. Yahoo!ショッピングにおけるデータ利活用事例紹介 1. Yahoo!ショッピングのデータPF 2. Yahoo!ショッピングのデータドリブンへのアプローチ 4. 今後の展望 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

今後の展望 ■データPF ■データ利活用 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

今後の展望 ■データPF ✓ユーザープロファイルの更なる強化（Teradata Aster） ✓データ鮮度の向上、ストリーム化（Kafka/Storm） ✓ショッピングEDWのデータをシームレスに活用できる環境整備 （Presto） ■データ利活用 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

今後の展望 ■データPF ✓ユーザープロファイルの更なる強化（Teradata Aster） ✓データ鮮度の向上、ストリーム化（Kafka/Storm） ✓ショッピングEDWのデータをシームレスに活用できる環境整備 （Presto） ■データ利活用 ✓作成したユーザープロファイルを用いたパーソナライズ強化 ✓MAに向けた取り組み ✓マルチビックデータ活用！（メディア×EC） Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.