【DeNA Data/ML Engineering Night】#5 アルムのデータ基盤におけるSnowflake導入に向けた取り組み

1K Views

March 21, 25

スライド概要

2025/03/14に開催されたオフライン勉強会「DeNA Data/ML Engineering Night」の発表スライドです。
イベント概要: https://dena.connpass.com/event/339744/

profile-image

DeNA が社会の技術向上に貢献するため、業務で得た知見を積極的に外部に発信する、DeNA 公式のアカウントです。DeNA エンジニアの登壇資料をお届けします。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

TechCon 2025 AfterEvents March 14, 2025 アルムのデータ基盤における Snowflake導入に向けた取り組み 株式会社ディー・エヌ・エー ソリューション本部データ統括部データ基盤部ヘルスケア・メディカルグ ループ 持田 直輝 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 1

2.

(登壇者紹介) 持田 直輝 ソリューション本部データ統括部データ基盤部 ヘルスケア・メディカルグループ ● 前職: クラウド活用支援企業(2017/04 ~ 2023/06) ○ ● クラウド再販サービスのデータ基盤の設計開発 株式会社ディー・エヌ・エー(2023/07 ~) ○ ● データエンジニア アルムのメディカルデータ基盤の設計開発 趣味 ○ 子育て・エディター弄り(Neovim)・ポケポケはカイ リュー推し © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 2

3.

免責・注意事項 ● 本内容は、ユーザーから頂いたデータの活用について、考え方を述べています。 ● 本内容の全てに、軽々とデータを利用する意図や趣旨はありません。 ● DeNA・アルムとして、以下の観点に十分注意しながら活用を進めます。 ● ○ 法令、契約、プライバシーポリシーとの整合性 ○ セキュリティ・ガバナンス ○ レピュテーションリスク、世の中の受け止め方 各企業におきましても、上記または独自の観点での考慮を十分に行なった上で、データ 活用をご検討ください。 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 3

4.

目次 1 はじめに 2 データ基盤の現状と課題 3 グローバルデータ基盤の取り組み 4 まとめ © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 4

5.

はじめに © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 5

6.

アルムについて ● © DeNA Co., Ltd. 医療ICTベンチャー企業 / 2022年にDeNAグループにジョイン TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 6

7.

アルム拠点のグローバル展開 ● © DeNA Co., Ltd. ソリューションの導入国・アルムの拠点はグローバルに跨る TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 7

8.

アルムのプロダクトについて ● © DeNA Co., Ltd. 医療関係者間コミュニケーションアプリ「Join」を初め、様々なプロダクトを展開 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 8

9.

データ基盤の現状と課題 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 9

10.

データ基盤のはじまり ● アルムがDeNAグループにジョインした当時、データの分析基盤はなかった ○ ● データを安全に分析できる環境が必要 まずは、日本におけるJoinの利用状況の分析を主なターゲットに、データ基盤を構築 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 10

11.

データ基盤v1のアーキテクチャ ● AWS東京リージョン上でデータ基盤を構築・提供 技術スタック © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night ● ETL: Glue ● Data Lake: S3 ● Warehouse: Athena ● Transform: dbt ● BI: QuickSight ● Orchestration: Step Functions ● Access Control: Lake Formation 11

12.

データ基盤v1のその後 ● ● データ活用のニーズは拡大 ○ 医療機関向けのユースケースや、海外拠点向けのユースケースのニーズ ○ →グローバルの個人情報・医療情報をデータ基盤で扱う必要がある 個人情報・医療情報の取り扱いでは、コンプライアンス要件の遵守が不可欠 ○ © DeNA Co., Ltd. どのような要件の考慮が必要になる? TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 12

13.

個人情報・医療情報の取り扱いで考慮が必要な要件の例 Icon images: Flaticon.com © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 13

14.

個人情報・医療情報の取り扱いで考慮が必要な要件の例 国ごとの法令によって、どのデータが・どのように保護されているのか異なる Icon images: Flaticon.com →社内外の法律の専門家と連携し、解釈の確認が必要 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 14

15.

個人情報・医療情報の取り扱いで考慮が必要な要件の例 顧客との契約において、データの保管場所に関する規定がある場合が存在 Icon images: Flaticon.com →特定のリージョン・クラウドで扱う必要があるデータとして転送の制限が必要 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 15

16.

個人情報・医療情報の取り扱いで考慮が必要な要件の例 個人情報の利用はユーザーから同意を得た範囲内で行う必要がある →データの利用目的が同意取得の範囲内と言えるのか、確認が必要 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night Icon images: Flaticon.com 16

17.

個人情報・医療情報の取り扱いで考慮が必要な要件の例 個人情報・医療情報を取り扱うシステムには高度なセキュリティが求められる Icon images: Flaticon.com →各種のセキュリティ規定を確認しつつ、データの安全な保護・加工が必要 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 17

18.

個人情報・医療情報の取り扱いで考慮が必要な要件の例 データの統合・利用において考慮が必要な要件の洗い出しには、リーガル・セキュ Icon images: Flaticon.com リティの専門家の知見が必要。チェックには時間と労力を要する。 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 18

19.

データ基盤v1の課題 ● データソースはマルチクラウド・マルチリージョンでサイロ化が進む © DeNA Co., Ltd. ○ リーガルチェックに時間を要し、データ統合・利用がなかなか進められない ○ →機会損失の発生・開発運用性やガバナンス面の課題 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 19

20.

データ基盤v1の課題 ● データソースはマルチクラウド・マルチリージョンでサイロ化が進む ○ リーガルチェックに時間を要し、データ統合・利用がなかなか進められない ○ →機会損失の発生・開発運用性やガバナンス面の課題 グローバルの医療情報・個人情報の取り扱いでは、リーガル・セキュリティ要件に 基づく、データの管理・統制が不可欠→データガバナンスの設計・実現が必要 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 20

21.

グローバルデータ基盤の取り組み © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 21

22.

グローバルデータ基盤に向けて ● 国内外のアルム拠点のデータを安全に統合・利用できるデータ基盤が必要 © DeNA Co., Ltd. ○ (再掲) サイロ化したデータの管理・統制のしやすさが重要 ○ → データウェアハウスの技術選定を実施 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 22

23.

Why Snowflake? ● PoCを実施し、Snowflakeの採用を決定 © DeNA Co., Ltd. ○ データマネジメントの機能が豊富。データの分類/保護/共有の開発運用性が高い ○ データメッシュ設計の検証・コスト/パフォーマンスの比較を行い、導入を決定 TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 23

24.

グローバルデータ基盤のアーキテクチャ ● ハブアンドスポーク型のデータメッシュのアーキテクチャ設計を検討 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 24

25.

グローバルデータ基盤のアーキテクチャ ● 各スポークには、中央で設計したタグ/ポリシー/ガードレールが適用された安全な環境 を提供 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 25

26.

グローバルデータ基盤のアーキテクチャ ● 中央で管理するハブを介し、データ共有/転送/利用に対し、組織で一貫したガバナンス を適用 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 26

27.

現在の状況について ● ステークホルダーとコンテキストを揃え、最初のユースケースへの提供に向けて進行中 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 27

28.

まとめ © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 28

29.

まとめ ● グローバルの個人情報・医療情報の取り扱いでは、コンプライアンス要件が複雑 化し、チェック・対応には時間と労力が必要 ● データの統合・利用を進めるには、リーガル・セキュリティ要件に基づき、デー タの管理・統制を行う必要があり、データガバナンスの設計・実現が重要 ● ガバナンスと使いやすさを両立させるため、Snowflakeとデータメッシュのアーキ テクチャ設計を活用し、グローバルデータ基盤の構築が進行中 © DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 29

30.

© DeNA Co., Ltd. TechCon 2025 AfterEvents / DeNA Data/ML Engineering Night 30 30