【TechMar Meetup】データ整備人の終わりなき奮闘記

337 Views

April 30, 20

#データエンジニアリング #SRE #データ整備 #データ分析 #クラウド

スライド概要

sakutaro

@saku_238

スライド一覧

子育てのことで頭いっぱい

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

LT_ブログ開設 3分クッキング -AWS LightSail-

aws lt

sakutaro 299

ライトニングトーク Google Cloud Platform を利用して機械学習を勉強してみた

lt gcp ml

sakutaro >100

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.3M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.1M

SQL滅ぶべし

株式会社ホクソエム 857K

各ページのテキスト

Profile 2 櫻井文矢(Sakurai Fumiya) @saku_238 Company ➢ (株)サイバー・コミュニケーションズ（略して CCI） Role ➢ データエンジニア兼クラウドアーキテクト Interests ➢ SRE ➢ DMBOK ➢ 弱々エンジニア会 #TechMar © 2020 cyber communications inc. All Rights Reserved.

Company Introduction 東証一部（4324） 5 社名株式会社サイバー･コミュニケーションズ（邦文表記） cyber communications inc.（英文表記) 設立 1996年6月5日代表者代表取締役社長新澤明男代表取締役副社長目黒拓本社所在地〒104-0045 東京都中央区築地1-13-1 築地松竹ビル（代表電話番号）03-6837-6011 資本金 4億9,000万円株主株式会社CARTA HOLDINGS （電通連結子会社）100％ https://cartaholdings.co.jp/ 連結子会社株式会社DataCurrent https://www.datacurrent.co.jp/ 社員数 1,026名事業内容インターネットや商用オンライン・サービスなどのネットワーク上の広告及び関連する下記の事業・広告の提案、企画、制作、運営・広告スペースの購入、販売主要加盟団体一般社団法人日本インタラクティブ広告協会公益社団法人日本アドバタイザーズ協会 web広告研究会 The IAB Technology Laboratory（IAB Tech Lab）アドベリフィケーション推進協議会 WOMマーケティング協議会公益社団法人日本マーケティング協会公益社団法人日本広告審査機構公益社団法人 ACジャパン © 2020 cyber communications inc. All Rights Reserved. ※2018年12月末日現在 #TechMar

Corporate Slogan 6 経営理念革新的で信頼あるインタラクティブコミュニケーションサービスの提供を通じて、より豊かな情報社会の創造の一翼を担う。経営ビジョンメディアの成長を支え続ける― インターネット広告の黎明期からメディアと共に歩み、成長してきた我々だからこそ、メディアの成長、健全な発展を支えていくことができる。そして、そこに我々の価値の源泉があると考える。メディアの本質価値を見出し、革新的な発想を以て、企業のコミュニケーション活動に貢献していく。健全なメディアの発展と、多様なコミュニケーションの発達の先に、より豊かな情報社会が存在する。 © 2020 cyber communications inc. All Rights Reserved. #TechMar

Service Introduction 7 “生活者と企業が安心してデータを活用できる世界に貢献する” 1 2 Data Consulting Engineering データを軸に広告・マーケティング・プロモーションを支援するデータ活用のコンサルティング 3 顧客ごとにカスタマイズされたデータ基盤の開発、及び運用保守 4 IT Solution 企業間のデータ流通を推進するテクノロジーの導入支援 © 2020 cyber communications inc. All Rights Reserved. Data Exchange 個人主体のデータ流通市場を牽引するデータ取引所の運営 #TechMar

Role Introduction 8 データの流れデータソース DMP※ DSP DWH データマート Media データレイクデータエンジニアデータエンジニア/データアナリストデータマネジメント集計分析意思決定者データアナリスト経営セールス / データコンサルタント #TechMar 分析要求の流れ © 2020 cyber communications inc. All Rights Reserved.

(補足説明)DMPとは 9 DMP（Data Management Platform）とは、インターネット上に蓄積されたビッグデータやWebサイトの閲覧や行動データなどを一元管理、分析し、最終的に広告配信などのアクションプランの最適化を実現するためのプラットフォームのこと。収集蓄積活用 DSP(広告配信) リターゲティング Webサイトタグ経由データ類似拡張データベンダーからのオフラインデータ DMP DWH・データマートユーザー分析 DMP データ販売 © 2020 cyber communications inc. All Rights Reserved. #TechMar

10.

11.

データ整備人の終わりなき奮闘記

12.

前置きこの課題は個人の見解であり、所属組織とは一切関係ありません。

13.

表「豊富なセグメント」と「データ精度が高い」ことが売り

14.

裏「多すぎるデータ」と「データ精度追及しすぎ」で大変

15.

16.

17.

18.

19.

20.

21.

22.

データ多すぎ問題事例

23.

24.

データベンダー多すぎしかもデータ受け渡し方式もベンダの制約があり、多種多様

25.

データ連携失敗問題事例

26.

突然のクラウドサービス障害

27.

ベンダーから告知のない仕様変更

28.

集計結果が一致しない

29.

問題点をあげたらキリがない …orz そもそも僕、弱々エンジニアです。

30.

トラブル多すぎて対応に追われる毎日人員も限られているし、モチベーション維持もさすがに厳しい。。。とにかくこの現状を打破する方法はないか。。。

31.

Googleが提唱している取り組みの1つにSREというものがあるらしい。同じことに共有しあっているSRE Loungeというコミュニティがあるらしい。何かヒントになるかも。 SRE Lounge 本日の会場 #TechMar

32.

33.

34.

35.

データ連携失敗問題の課題 35 トラブルに気づいていないこともあり、データアナリストからの申告で気づくこともあった。日次週次 DWH 21日毎月次四半期 DMP 年2回データアナリストからの『状況をはやく教えてくれれば調整できた。』 #TechMar トラブルに気づくモニタリングの導入に取り組んだ。 © 2020 cyber communications inc. All Rights Reserved.

36.

37.

モニタリング強化の取り組みの効果 37 異常が発生後に担当者へ連絡しても『X日までに復旧してくれればOK(いわゆるエラーバジェット)』のやりとりもあり、落ちついてリカバリに取組めるようになった。リカバリ対応だけでなく、原因究明・根本対策としての時間も確保でき、自動化にも取り組めるようになった。 Toil(労苦)も減少しより効率的で強固なデータ連携基盤に整備 #TechMar © 2020 cyber communications inc. All Rights Reserved.

38.

39.

40.

41.

前置きこの課題は個人の見解であり、所属組織とは一切関係ありません。

42.

新しいデータを取り扱うときの課題

43.

（補足）Role Introduction 43 データの流れデータソース DMP※ DSP DWH データマート Media データレイクデータエンジニアデータエンジニア/データアナリストデータマネジメント集計分析意思決定者データアナリスト経営セールス / データコンサルタント #TechMar 分析要求の流れ CONFIDENTIAL © 2020 cyber communications inc. All Rights Reserved.

44.

45.

46.

47.

48.

49.

課題どっちがやる？エンジニア？アナリスト？

50.

51.

データエンジニアの意見データの活用方法がわからない。 #TechMar

52.

上司そのデータどうしたいの？ ※本画像はイメージです。実際とは異なる場合があります。

53.

データアナリストの意見データの収集・蓄積方法がわからない。 #TechMar

54.

上司そのデータ問題はないんですか？ ※本画像はイメージです。実際とは異なる場合があります。

55.

データ利活用する時のインテリジェンスが無さすぎることに気づいた。同じことに共有しあっているデータ分析とインテリジェンス (データアーキテクト（データ整備人）を”前向きに”考える会) というコミュニティがあるらしい。何かヒントになるかも。データ整備人本日の会場 #TechMar

56.

データエンジニアとデータアナリストを兼務して取り組んだ施策データエンジニア 56 データアナリスト分析に必要なデータ構造をデータソース担当者へ伝える分析設計施策の狙いを理解して分析設計するデータ構造が理解できデータ連携からデータマート(BI)まで作成するデータ連携今後のデータ利活用を考えてデータに拡張性ができる追加の分析が必要であれば、都度データマート(BI)を修正する集計分析データを分析しコンサルやセールスが理解しやすい形に可視化結果(データ)の妥当性を再確認する結果FB 意思決定者へのメッセージをフィードバック #TechMar CONFIDENTIAL © 2020 cyber communications inc. All Rights Reserved.

57.

58.

上司そうだよ。 ※本画像はイメージです。実際とは異なる場合があります。

59.

まとめ(苦労) 59 1. データ連携基盤(特にクラウドサービス)の安定稼働は難しい。 2. 様々なデータを取り扱っており、それぞれのデータ理解や処理方法には時間がかかる。 3. またデータには時代というトレンドに影響することもあるためデータ(セグメント)のボリューム把握も重要。 #TechMar © 2020 cyber communications inc. All Rights Reserved.

60.

まとめ(今後) 60 • デジタル広告の規制変更が急速であるため、今あるデータが急に使えなくなるという脅威がある。 • データ提供やトラブルを素早く収束する技術を身に着けて、スキル習得の時間を確保していく。 • 『私は、データ整備人です。』と言うと細かい事をやってくれるというイメージを持たれてしまう。せっかく、この業務にJoinしているなら『データアーキテクト』を目指す。 #TechMar © 2020 cyber communications inc. All Rights Reserved.

61.

データは増え続けていくため、この仕事に終わりはない。

62.