データの見える化で進めるデータドリブンカンパニー #devsumiC

データの見える化で進める データドリブンカンパニー 2017年9月8日 尾崎 弘宗 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

今日のテーマ 見える化の先 2 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

自己紹介 尾崎 弘宗 ヤフー株式会社 データ&サイエンスソリューション統括本部 経歴 〜2005年 某SIer会社（官公庁、金融系のデータベース設計、開発） 2005年〜 ヤフー株式会社入社（データベースプラットフォーム設計〜運用） 2014年〜 データ&サイエンスソリューション統括本部 （DMP、データマネージメント） 2016年〜 大阪オフィス勤務 3 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

ヤフーのビッグデータ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

ヤフーのサービス 6 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

ヤフーのユーザー 9104 7 725 3970 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

ヤフーのデータ 8 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

マルチビッグデータ 9 Yahoo! Google NETFLIX Quora Gmail AOL PayPal ebay amazon yelp Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

新たなる挑戦 マルチビッグデータ ドリブンカンパニーへ 10 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

例：タイムライン 11 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

例：ショッピング 12 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

例：広告 13 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

今後は？ もっとデータ活用を スケールしたい！ 14 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

阻害要因は？ 他部署のサービスがどんなデータを 持っているのか分かってない （データが多すぎて。。） 15 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

解決策 データを見える化する （ツール開発しよう） 16 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ見える化ツール（イメージ） カテゴリから探す ○○が分かる ○△が分かる ○□が分かる ○×が分かる データ一覧 △○が分かる 17 △△が分かる △○が分かる △×が分かる データ名 サービス データ説明 データ項目 タグ 落札AB データ ヤフオク! ヤフオクでほげ ほげ 落札日 落札品 タグ1 ホテル予約 CD情報 トラベル トラベルでほげ ほげ 予約日 予約人数 タグ2 タグ3 ニュース EFデータ ニュース ニュースでほげ ほげ 記事カテゴリ タグ1 Co p yrig ht © 2 0 1 7 データ詳細 データ名 落札ABデータ データ説明 ヤフオクでほげほげ タグ タグ１ ナレッジ ショッピングでほげほげの時のページ出し分けに使用 データ項目 名称 説明 型 rdate 落札日 落札した日時 DATE rname 落札品 落札した品名 CHAR Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 長さ 200

データ見える化ツール 目的と役割 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ見える化ツールの目的 マルチビッグデータ活用の促進 19 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ活用の流れ 企画 知る 20 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 活用

データ活用の課題 企画 知る ・どんなデータがあるの？ ・このデータどこにあるの？ ・使っていいデータなのか？ 21 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 活用

データ活用の現状 知る 企画 ・どんなデータがあるの？ 活用アイデアを出し辛い 活用 活用に繋がりにくい ・このデータどこにあるの？ ・使っていいデータなのか？ 22 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ見える化ツールがあると 企画 知る ・どんなデータがあるか分かる ・データがどこにあるか分かる ・使っていいデータか分かる 23 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 活用

データ見える化ツールの役割 沢山の人に データを知ってもらい、 活用アイデアを増やす 24 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

活用数を増やすためには？ 企画 知る 25 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 活用

企画を考える人を増やす 知る 26 企画 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 活用

データを知っている人を増やす 知る 27 企画 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 活用

データ見える化ツールの範囲 知る 企画 沢山の人に データを伝え、企画を考えてもらうお手伝い 28 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 活用

データ見える化ツールの利用者 ビジネス（営業、企画職）、エンジニア全般 29 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ活用に必要なスキル ビジネス (business problem solving) サイエンス (science) エンジニア リング (engineering) 30 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

現状のマルチビッグデータ活用者 ビジネス (business problem solving) サイエンス (science) エンジニア リング (engineering) 31 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

ビジネス側も巻き込んで広げる ビジネス (business problem solving) サイエンス (science) エンジニア リング (engineering) 32 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ見える化ツール ビジネス（営業、企画職）、エンジニア全般 データを知ってもらい、活用アイデアを増やす マルチビッグデータ活用の促進 33 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

一言でいうと みんなでデータを知り、 アイデアを出すためのツール 34 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ見える化ツール 課題と解決策 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

課題1 ビジネス（営業、企画職）の人にも もっとデータを知ってもらうためには？ 36 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

レストランのメニューを目指した 37 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 画像：aflo

料理を選ぶようにデータを選ぶ レストランのメニュー ・料理名 ・値段 ・素材 ・調理方法など データ見える化ツール ・データ名 ・データ項目 ・データ説明 ・活用事例など データ詳細 データ名 落札ABデータ データ説明 ヤフオクでほげほげ タグ タグ１ ナレッジ ショッピングでほげほげの時のページ出し分けに使用 データ項目 名称 説明 型 rdate 落札日 落札した日時 DATE rname 落札品 落札した品名 CHAR 画像：aflo 38 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 長さ 200

料理を選ぶようにデータを選ぶ レストランのメニュー ・料理名 ・値段 ・素材 ・調理方法など データ見える化ツール ・データ名 ・データ項目 ・データ説明 ・活用事例など データ詳細 データ名 落札ABデータ データ説明 ヤフオクでほげほげ タグ タグ１ ナレッジ ショッピングでほげほげの時のページ出し分けに使用 データ項目 名称 説明 型 rdate 落札日 落札した日時 DATE rname 落札品 落札した品名 CHAR 画像：aflo 39 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 長さ 200

ツールで扱うデータ情報 例）ショッピングサイト 注文データ ID:100 ID:200 ID:300 40 ユーザーID 注文日時 商品名 単価 個数 100 2017/8/16 10:14 歯ブラシα 200 2 200 2017/8/18 21:14 石鹸ジュニア 500 4 300 2017/8/19 22:54 梅シャンプー 1000 1 データベース Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

ツールで扱うデータ情報 例）ショッピングサイト データ名→ 注文データ ID:100 データ項目名→ ID:200 ID:300 41 ユーザーID 注文日時 商品名 単価 個数 100 2017/8/16 10:14 歯ブラシα 200 2 200 2017/8/18 21:14 石鹸ジュニア 500 4 300 2017/8/19 22:54 梅シャンプー 1000 1 データベース Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

ビジネス側の人に伝える工夫 ・エンジニア用語の排除（可能な限り） 例）テーブル名→データ名 カラム、フィールド→データ項目 ・データ名を分かりやすく修正 ・データ説明を分かりやすく修正 ・データを分かりやすくカテゴリ分け 例）○○が分かるデータ 42 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

課題2 膨大なデータ情報をどうやって集めるのか？ 43 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

膨大な種類のデータ 構造化データ RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes 非構造化データ Hadoop 7,000nodes DWH 1.7PB 構造化＋非構造化＋半構造化データ ※2017年1月時点 44 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

膨大なデータ項目 推定 テーブル数：約23,000 カラム数：約320,000 構造化データ RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes 非構造化データ Hadoop 7,000nodes DWH 1.7PB 構造化＋非構造化＋半構造化データ ※2017年1月時点 45 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

収集するデータ情報種類 Layer3 マルチユースメタデータ データ取得目的とは別の用途、他部門で利用するために必要な情報 ・活用knowledge ・データ分類、タグ ・活用時の注意点 ・活用範囲 ・SLA ・データオーナー部署 ・問い合わせ先 ・セキュリティ区分 ☆データ量 ☆データ品質 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ名称、データ項目説明 ・データ内容説明 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ☆データ所在地 ☆データ構造（データ名、データ項目） ☆=機械的に収集が可能な情報 46 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

活用までのコストと収集コスト Layer3 マルチユースメタデータ 小 活用までの コスト データ取得目的とは別の用途、他部門で利用するために必要な情報 ・活用knowledge ・データ分類、タグ ・活用時の注意点 ・活用範囲 ・SLA ・データオーナー部署 ・問い合わせ先 ・セキュリティ区分 ☆データ量 ☆データ品質 Layer2 ビジネスメタデータ 大 情報収集の コスト データの意味を理解するために必要な情報 ・データ名称、データ項目説明 ・データ内容説明 大 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ☆データ所在地 ☆データ構造（データ名、データ項目） ☆=機械的に収集が可能な情報 47 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 小

データ情報収集のコストパフォーマンス 他部署サービスでも 活用が可能なデータ 他部署サービスでは 活用が難しいデータ 全てのデータに対して 詳細な説明まで記載するのは コストに見合わない 48 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

価値の高いデータから収集 ヤフーの重要なデータ項目を定義、周知 該当するデータから収集 49 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

課題3 どんな情報があれば 活用アイデアに繋がるのか？ 50 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

活用アイデア出しの例 （データドリブン） データ例）ホテル予約サイト データ名：宿泊者情報 説明：ホテル予約時に入力する宿泊者名、人数構成などの情報 アイデア例）ショッピングで子供用品をオススメする 51 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

活用アイデア出しのステップ （データドリブン） データ例）ホテル予約サイト データ名：宿泊者情報 説明：ホテル予約時に入力する宿泊者名、人数構成などの情報 例)大人2人、子供1人 子供の人数を入力した人は子供がいる親だろう コンテキスト リーディング アイデア例）ショッピングで子供用品をオススメする 52 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

コンテキストを読んだタグ付け （データドリブン） データ例）ホテル予約サイト データ名：宿泊者情報 説明：ホテル予約時に入力する宿泊者名、人数構成などの情報 タグ：子供がいる親か分かるデータ コンテキストリーディング のステップを省略 アイデア例）ショッピングで子供用品をオススメする 53 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

活用アイデア出しの例 （課題ドリブン） データ例）ホテル予約サイト データ名：宿泊者情報 説明：ホテル予約時に入力する宿泊者名、人数構成などの情報 課題例）ショッピングで子供用品をオススメしたい 54 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

活用アイデア出しのステップ （課題ドリブン） データ例）ホテル予約サイト データ名：宿泊者情報 説明：ホテル予約時に入力する宿泊者名、人数構成などの情報 例)大人2人、子供1人 子供の人数を入力した人は子供がいる親だろう コンテキスト リーディング 課題例）ショッピングで子供用品をオススメしたい 55 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

コンテキストを読んだタグ付け （課題ドリブン） データ例）ホテル予約サイト データ名：宿泊者情報 説明：ホテル予約時に入力する宿泊者名、人数構成などの情報 タグ：子供がいる親か分かるデータ コンテキストリーディング のステップを省略 課題例）ショッピングで子供用品をオススメしたい 56 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

データ活用促進の 現状と今後 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

現状 ・データ見える化ツールの社内リリース発表 ・データ情報の収集方針の社内発表 （ヤフーの重要なデータ項目を定義、周知 して該当データから収集） ・説明会を実施 58 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

今後 ・データ情報収集の促進 ・データ情報登録の負担軽減 ・キラーコンテンツ(データ)の作成 ・データ活用アイデア出しのワークショップ ・アイデアを簡単に活用に繋げるスキーム作り 59 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

最後に Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

大阪オフィス紹介 現在 場所：大阪富国生命ビル（梅田） 10月から 大阪は２拠点体制に 社員数：約240名 ・サービス開発エンジニア ・天気、災害、マッチングなど ・ビッグデータエンジニア ・サイエンス、データPF ・営業 ・広告、ショッピング 61 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

大阪オフィス紹介 現在 場所：大阪富国生命ビル（梅田） 10月から 大阪は２拠点体制に 仲間を募集しています！ 募集要項はこちら 社員数：約240名 ・サービス開発エンジニア ・天気、災害、マッチングなど ・ビッグデータエンジニア ・サイエンス、データPF ・営業 https://about.yahoo.co.jp/hr/job-info/career/ ・広告、ショッピング 62 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

• https://about.yahoo.co.jp/hr/job-info/career/

以上です Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .