ライブコミュニティ事業へのOpenMetadata導入に向けた取り組み
2.5K Views
October 04, 24
スライド概要
2024年9月3日に行われたJDMC主催の「エンタメ業界のデータマネジメント最前線」で渡辺ブルーノが登壇した資料です。
概要:
弊社が抱えるライブコミュニティ事業へOpenMetadata導入に向けて事業のメンバーへ納得感を持って提案、導入をしたみちのりについてご紹介します。
また、弊社が抱える様々な事業へのデータマネジメントへの提案も念頭にした仕組み作りについても検討した内容を織り交ぜています。
イベント:
https://jdmc.connpass.com/event/327088/
DeNA が社会の技術向上に貢献するため、業務で得た知見を積極的に外部に発信する、DeNA 公式のアカウントです。DeNA エンジニアの登壇資料をお届けします。
関連スライド
各ページのテキスト
ライブコミュニティ事業への OpenMetadata導入に向けた取り組み 渡辺 ブルーノ ソリューション本部データ統括部 データ基盤部プラットフォームグループ 株式会社ディー・エヌ・エー © DeNA Co., Ltd. 1
今回話す範囲について 話すこと ・データマネジメントの施策を事業へ0から提案して承諾頂いた過程 話さないこと ・特定製品の使い方 © DeNA Co., Ltd. 2
自己紹介 渡辺 ブルーノ 経歴: 所属: ・2021/11~ DeNA入社&ゲームデータグループ所属 ソリューション本部 データ統括部データ基盤部 プラットフォームグループ (以降、PFG) ポジション: データアナリティクスエンジニア 兼 データアーキテクト ・2024/03~ プラットフォームグループ兼務 ・前職2: 機械学習エンジニアでAPI開発まで ・前職1: 車のレースの分析と周辺ツール開発 ・学生時代: 自動車開発の専門で四輪操舵する カートを作って制御回路を爆発飛散させました ↑データマネジメントを怠ったから？ 業務内容: データマネジメント推進の枠組み作り データエンジニアリングの技術領域の検証 © DeNA Co., Ltd. 3
CORPORATE [ 会社概要 ] © DeNA Co., Ltd. 商号 株式会社ディー・エヌ・エー 本社 東京都渋谷区 設立 1999年3月 事業内容 ゲーム事業、ライブコミュニティ事業、スポーツ事業、ヘルスケア・メディカル事 業、新規事業・その他 代表者 岡村 信悟 (代表取締役社長兼CEO) 代表者（創業者） 南場 智子 (代表取締役会長) 従業員数 連結：2,897名 (2024年3月時点) 株式 東証プライム上場 (証券コード:2432) 2015年10月より日経225銘柄 売上収益 1,367億円 (2024年3月期、IFRS) 4
BUSINESS DEVELOPMENT [ 事業展開 ] エンターテインメント領域と社会課題領域の両軸を展開する © DeNA Co., Ltd. 5
チームトポロジー型組織への進化 事業が増加しデータ活用のニーズが増加・多様化した事で様々な課題が発生 LC: ライブコミュニティ事業 組織改編前 ゲーム事業 H/M: ヘルスケア／メディカル事業 LC事業 H/M 事業 バックオフィ ス スポーツ 事業 データエンジニア チーム ・事業コンテキストが増加し、個人の切り替え負荷が発生 ・複数のProjectが同時並行し、属人化。モチベーションの低下 事業横断 活動 事業／利用部 門 データエンジニ ア組織 ・データ活用基盤のクオリティにも影響 © DeNA Co., Ltd. 引用: https://www.docswell.com/s/DeNA_Tech/56YQ7V-2024-04-30-131949#p1 6
チームトポロジー型組織への進化 DeNAデータエンジニア組織ではチームトポロジー型組織に進化 LC: ライブコミュニティ事業 最新の組織 BO: バックオフィス H/M: ヘルスケア／メディカル事業 LC 事業 BO/ス ポーツ事 業 H/M 事業 ゲーム 事業 データ利活 用の支援 LC BO/ス ポーツ H/M ゲーム 横断機能の提供・ プロダクト 技術支援 開発・提供 プラットフォーム／ イネイブリング © DeNA Co., Ltd. データプロダクト 引用: https://www.docswell.com/s/DeNA_Tech/56YQ7V-2024-04-30-131949#p1 事業／利用部 門 データエンジニ ア組織 7
チームトポロジー型組織への進化 LC 事業 BO/ス ポーツ事 業 H/M 事業 ゲーム 事業 LC BO/ス ポーツ H/M ゲーム プラットフォーム／ イネイブリング データプロダクト データエンジニアリング組織の技術力底上げを目指して活動中 活動内容 © DeNA Co., Ltd. ● 有用な技術の検証・提案 ● イネイブリング 8
© DeNA Co., Ltd. 9
© DeNA Co., Ltd. 10
ことの始まり データ利活用が活発になっていく中で データマネジメントも取り入れて データを使いやすくしたいです データマネ ジメントを 推進したい 相談 IRIAMの擬人化 PFGの擬人化 結 果 データマネジメント 施策爆誕！！！ © DeNA Co., Ltd. 11
データマネジメント施策の全体観 取り組みに参加したチームについて © DeNA Co., Ltd. IRIAM PFG LCDG ・提案内容を実務で利用 ・提案内容の評価 ・事業が抱える課題の整理 ・課題解決の提案 ライブコミュニティ事業の データエンジニアチーム ・本PoCを主導 12
データマネジメント施策の全体観 課題整理 提案 PoC開始 PFG 技術検証 PFG IRIAMへ ヒアリング PFG 課題の整理 PFG 課題解決に 向けた提案 IRIAM 提案の評価 LCDG PoC主導 IRIAM 利用/評価 © DeNA Co., Ltd. 13
1 課題整理 課題整理 提案 PoC開始 PFG 技術検証 PFG IRIAMへ ヒアリング PFG 課題の整理 PFG 課題解決に 向けた提案 IRIAM 提案の評価 LCDG PoC主導 IRIAM 利用/評価 © DeNA Co., Ltd. 14
1 課題整理 なにはともあれ現場ヒアリング！ データ関連で 困り事有る？ D M 色々有るよ エンジニア データ利活用者 エンジニア、データ利活用者のヒアリングで課題が分かったぞ！ © DeNA Co., Ltd. 15
1 課題整理 聞き出せた課題たち データ利活用者 エンジニア データの理解に苦労する データ品質に難有り データを探すの大変 データの利用状況が把握できていない クエリの使いまわしで秘伝タレ化 分析にデータ連携するのに手間がある データ説明の更新フローが決まってない ※課題は一部抜粋したものです © DeNA Co., Ltd. 16
1 課題整理 紐づけたい データマネジメント 紐づけツール データマネジメント 成熟度アセスメント © DeNA Co., Ltd. 17
課題整理 1 データマネジメント成熟度アセスメントやるぞ！ LC 事業 まずはIRIAMから スタート！ BO/スポー ツ事業 H/M 事業 ゲーム 事業 IRIAMでの知見を横展開していく LC BO/スポー ツ H/M ゲーム プラットフォーム／ イネイブリング © DeNA Co., Ltd. 18
1 課題整理 データマネジメント成熟度アセスメントを実施し続ける課題 実施対象の多さ ドメイン理解 信頼関係構築 PFGの擬人化 1チームが受け持つには大変過ぎる！ © DeNA Co., Ltd. 19
1 課題整理 事業毎にDEチームが有る！ 計算シート データマネジメント領域 配布できる 状態の構築 アクティビティ 標準 ツール 人と資源 © DeNA Co., Ltd. 20
1 課題整理 データマネジメント成熟度アセスメント実施＆提案！ 注力する領域 注力したい領域は分か るけどこれチームへの ROIは具体的に何？ ・メタデータ ・ドキュメントと コンテンツ管理 PFGの擬人化 IRIAMの擬人化 ドメイン理解の不足が顕在化 © DeNA Co., Ltd. 21
1 課題整理 提案する内容のROIを具体にするのに情報を整理した 投資 効果 IRIAMで今後面倒見ること 可能な課題解決 アナリスト データマネジメントを継続実施 構造化 エンジニア エンジニアリング面の面倒 アナリストへのヒアリングが不足していた 担当者と話し合いを重ねて提案先のドメイン理解を深めた © DeNA Co., Ltd. 22
1 課題整理 現状 ・事業運営が進みBigQueryに分析データが貯まってきた ・データ分析を行うアナリストも常駐し分析が活発になってきている ・分析を行うのに必要なエンジニアリングは開発エンジニアが対応している 課題 アナリスト&データ利活用者 エンジニア 分析の信頼性を担保するためのクエリレ ビューの負荷が大きい データの仕様や説明を一貫した形では管理 できていない データの所在, 仕様や性質について自分で 調べる手段が乏しい データの品質が管理できていない データを探し出す手間が大きい データについての問い合わせ対応で業務 が止まる データについてエンジニアに問い合わせし ている間業務が止まる データの利用状況がしっかり把握できてい ない ※課題は一部抜粋したものです © DeNA Co., Ltd. 23
1 課題整理 ヒアリングで得られた課題を構造化 アナリスト 直面している E エンジニア 課題 A 直接対応する 要因 対応するエンジ ニアリング観点 より深い原因 エンジニアに問い合わ せが必要で業務が止ま る クエリレビュー の負担 A A クエリが長く 複雑化しがち A クエリを書く際 の労力 A データや分析の 信頼性担保 E データの所在/仕様/性 質について調べる手段 が乏しい A データを探し 出す手間がか かる A データマートの整備が 不十分 A データ品質が管理 できていない E データの仕様や説 明を一貫した形で は管理できていな い E A データ連携の手間 E データ利用の監視・統 制 E © DeNA Co., Ltd. 24
1 課題整理 課題とデータマネジメント領域をより具体的に紐づけ 課題 データマネジメント領域 データの所在/仕様/性質について 調べる手段が乏しい データを探し出す手間がかかる メタデータ データの仕様や説明を一貫した形では 管理できていない ドキュメントとコンテンツ管理 エンジニアに問い合わせが必要で業務が止まる © DeNA Co., Ltd. データや分析の信頼性担保 データ品質 データマートの整備が不十分 データモデリング 25
1 課題整理 課題解決を多くできる領域を選定 課題 データマネジメント領域 データの所在/仕様/性質について 調べる手段が乏しい データを探し出す手間がかかる メタデータ データの仕様や説明を一貫した形では 管理できていない ドキュメントとコンテンツ管理 エンジニアに問い合わせが必要で業務が止まる © DeNA Co., Ltd. データや分析の信頼性担保 データ品質 データマートの整備が不十分 データモデリング 26
1 課題整理 ROIを整理 投資 効果 IRIAMで今後面倒見ること 可能な課題解決 アナリスト データマネジメントを継続実施 構造化 エンジニア エンジニアリング面の面倒 ROIの説明を含めて以下データマネジメント領域を提案できるぞ！ ・メタデータ ・ドキュメントとコンテンツ管理 © DeNA Co., Ltd. 27
2 提案 課題整理 提案 PoC開始 PFG 技術検証 PFG IRIAMへ ヒアリング PFG 課題の整理 PFG 課題解決に 向けた提案 IRIAM 提案の評価 LCDG PoC主導 IRIAM 利用/評価 © DeNA Co., Ltd. 28
2 提案 ソリューションの要件 提案するデータマネジメント領域 解決したい課題 メタデータ ドキュメントとコンテンツ管理 この領域を改善するソリューション is 何？ （データカタログ？リネージュ？用語集？etc…) © DeNA Co., Ltd. 29
2 提案 要望を叶えそうなソリューションたち OpenMetadata Dataplex ソリューション間の連携要望: IRIAMではBigQueryとRedashを採用しており特にRedashとの連携も求められている © DeNA Co., Ltd. 30
2 提案 要望を叶えるソリューションを選定 機能 OpenMetadata Dataplex データカタログ製品のGCPのサポートが受けられる X O GCPリソース外の製品のインテグレーションを提供しているか O X 日本語に対応しているか X O データの検索性 O △ データリネージュ O △ サンプルクエリの設定が可能か O X データテーブル以外へのメタデータ情報管理 O △ 権限管理 O O データ品質 O O Redashとの連携も鑑みてOpenMetadataを採用 © DeNA Co., Ltd. 31
2 提案 課題/ROI整理してソリューションを提案 ソリューションの提案 ROIも明確になってソ リューションも選定で きたからPoC始めよう ・OpenMetadata データの理解を促進 PFGの擬人化 IRIAMの擬人化 事業側から納得感を持ってPoCの承認が得られた！ © DeNA Co., Ltd. 32
3 PoC開始 課題整理 提案 PoC開始 PFG 技術検証 PFG IRIAMへ ヒアリング PFG 課題の整理 PFG 課題解決に 向けた提案 IRIAM 提案の評価 LCDG PoC主導 IRIAM 利用/評価 © DeNA Co., Ltd. 33
3 PoC開始 PoCの組織編成 © DeNA Co., Ltd. LCDG IRIAM PFG 役割: 役割: 役割: ・PoCを主導 ・スケジューリング ・評価方法の合意形成 ・OpenMetadata利用 ・使用感の評価を担当 ・全般の技術サポート ・技術検証 ・イネイブリング 34
3 PoC開始 PoCの想定スケジュール タスク 8月 前半 9月 後半 前半 後半 OpenMetadata検証環境を構築 関係者整理 方針の合意形成 関係者へのイネイブリング 各種機能の利用 技術検証 1次評価 2次評価 導入に向けた最終評価 © DeNA Co., Ltd. 35
3 PoC開始 技術検証の例 検証内容 GKE & Cloud SQLを使ったインフラ構築 課題解決 登録したデータのマイグレーション BigQuery, Redash間のデータリネージュ検証 データインジェスチョン などなど © DeNA Co., Ltd. 36
まとめ データマネジメントの推進で必要な情報 事業としてやりたいこと 紐づけ データマネジメント成熟度アセスメント 現場の課題とやりたいこと 効果の高い施策の提案を納得感をもって承認 活動の継続に繋がる © DeNA Co., Ltd. 37
© DeNA Co., Ltd. 38
Appendix © DeNA Co., Ltd. 39
各領域におけるソリューションの提案 現場の課題を解決できる領域として、メタデータ領域のソリューションをご提案します 直面している課題 原因 データマネジメント＆ソリューション 領域: メタデータ/ドキュメントとコンテンツ管理 エンジニアに問い合わせが必 要で業務が止まる クエリレビューの負担 データの所在 /仕様 /性質につい て調べる手段が乏しい 目指す体制 : データ利用者が主体的に組織のメタデータ管理を一貫して管理でき る 実施すること : メタデータリポジトリの導入によるメタデータ /ドキュメントの整備・集 約 領域: データ統合と相互運用性/ストレージとオペレーション/データ品質 IRIAM_Log 保守運用の課題 クエリを書く際の労力 データマートの整備が不十分 データ連携の手間 データや分析の信頼性 担保 データ利用の監視・統制 データ品質が管理できていない データの仕様や説明を一貫した 形では管理できていない スケジュールドクエリ , 連携クエ リによる仕組みの課題 © DeNA Co., Ltd. 目指す体制 : 中間集計とスケジューラーの作成と管理を全てアナリストが担当し て分析の観点で扱いやすい中間集計を作っていく 実施すること : ワークフローエンジン等の導入による ETL/ELT データパイプライ ンの整備 領域: データモデリング、DWHとBI 目指す体制 : データマートの設計と実装をアナリスト主体で進められる 実施すること : データモデリングツールの導入によるウェアハウス /マート構築の 仕組み整備 領域: データセキュリティ・データガバナンス 目指す体制 : データの安全・適正な利用が担保された組織の構築 実施すること : データポリシーの策定と適用 40 40
IRIAMでのOpenmetadata位置付け全体観 © DeNA Co., Ltd. Openmetadataをデータ関連の説明とコミュニケーションの中心ツールとして 活用されるイメージを持っています 41 41