3.5K Views
May 24, 24
スライド概要
JEDAI データエンジニア分科会 #1 集まれデータエンジニア! にて発表した`誰も教えてくれない メダリオンアーキテクチャの デザインメソッド`に関するスライド
https://jedai.connpass.com/event/316240/
JEDAI データエンジニア分科会 #1 集まれデータエンジニア! 誰も教えてくれない メダリオンアーキテクチャの デザインメソッド manabian
自己紹介 【主な生業】 BI・DWH構築に関するSIベンダーにてテクニカルスペシャリスト職と して、次の業務を実施。 • Databricks におけるシステム実装論の整理とライブラリ開発 • データ分析基盤とアプリケーションの設計・構築に関する支援 • データ分析基盤に関する技術検証 @manabian 趣味がデータ分析基盤に関する調査や検証であり、 主に Qiita を中心に Databricks などのデータ分析基盤に関する記事を 投稿。 • 最強のデータ分析基盤を目指して~汎用的なデータ分析基盤の選定 方法の提案~ – Qiita • PySpark 開発時に知っておくべき7つのテーマ– Qiita • データエンジニア界隈で話題のdbt(data build tool)のまとめ #Python - Qiita
はじめに メダリオンアーキテクチャの実装方法論 プログラムの共通化による開発生産性向上 データ分析基盤における データを どのように管理するか
アジェンダ
1. 前提となる事項の確認 1-1. データ分析基盤とは 実際に利用できるコンポーネント 引用元:最強のデータ分析基盤を目指して~汎用的なデータ分析基盤の選定方法の提案~ Qiita
1. 前提となる事項の確認 1-2. メダリオンアーキテクチャとは 具体的な実装例がないため解釈に幅 引用元:メダリオンアーキテクチャ | Databricks
2. メダリオンアーキテクチャの実装方法 2-1. 全体像 引用元:Databricks ( Spark ) における Spark テーブル (データレイク)のディレクトリ構成の検討 - Qiita
2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(1/2)
2. メダリオンアーキテクチャの実装方法 2-2. Bronzeレイヤーついて(2/2)
2. メダリオンアーキテクチャの実装方法 2-3. Silver レイヤーついて 引用元:Bronze テーブルから Silver テーブルへのデータローディングパ ターン - Qiita
2. メダリオンアーキテクチャの実装方法 2-4. Goldレイヤーついて
2. メダリオンアーキテクチャの実装方法 2-5. Otherレイヤーついて
2. メダリオンアーキテクチャの実装方法 2-6. 全体像の振り返り
2. メダリオンアーキテクチャの実装方法 2-7. データ品質保証の実施
3. データエンジニアリングの実施方法 3-1. オーケストレーションの設計方針
3. データエンジニアリングの実施方法 3-2. Databricks におけるアクティビティ
ありがとうございました 参考になった記事には いいねをお願いします manabian 𝕏: @manabian Qiita: manabian