いま使っている技術スタックとこれからのこと

いま使っている技術スタックとこれからのこ と 株式会社DataMarket 岩崎 晃 Data Engineering Study #30

自己紹介 過去の登壇 ・岩崎晃 ・DataMarketというデータエンジニアリング会社に 所属しています ・データ分析基盤の構築サービス ・内製支援・活用プロセス設計 ・技術相談サービス ・etc 以前のData Engineering Study参加実績 ・#4 データ分析基盤の障害対応事例LT祭り ・#23 Data orchestration 特集

データエンジニアとして今やっているこ と ・例えば、データ分析基盤プロジェクトのテック リードを担当してます ・最先端のデータエンジニアリング技術を活用し た案件に携わらせていただいています ・今日は、業務で関係しているデータエンジニア リングの技術について、公開されている技術範囲 内で発表します

今日話すこと 1 Dagster+ の紹介 最新のデータオーケストレーションツール 2 DataMeshのこと 分散型データアーキテクチャの考え方 3 DCR(Data Clean Room)のこと プライバシーを保護したデータ共有の仕組み 4 会社の宣伝 DataMarketのサービス紹介

1. Dagster+ の紹介 Dagsterは、データパイプラインの構築・実行・監視を一元管理できる先進 的なデータオーケストレーションツールです。従来のワークフローツール と比較して、データ資産の可視化と管理に優れた機能を提供します。 左GIFの出典: Dagster公式ページより

DagsterとData Product Dagsterは、当初から「Data Product」の概念を中心に設計 されています。データをただの副産物ではなく、価値あるプロ ダクトとして管理できます。 • データ資産の型付けとバリデーション • 実行環境の抽象化とテスト容易性 • ロジック再利用性の向上 • データリネージの自動生成

Dagster+のUI Dagster+の優れた点は、強力な視覚化UIを提供していること です。 • データパイプラインの依存関係を直感的に把握 • 実行履歴と結果の詳細な分析 • エラーの迅速な特定と対応 • チーム間でのデータフローの共有と理解促進 UIは、将来インタラクティブに生成されるものになるだろうと言われていますが、 Data ProductのUIのデファクトはDagster+のようになる！

2. DataMesh 分散型データアーキテクチャの新しいパラダイム データメッシュは、従来の中央集権型データアーキテクチャの限界を超え るための概念です。各ドメインがデータの所有権と責任を持ち、相互に連 携するアプローチです。 これにより、データ活用の俊敏性と拡張性が向上し、ビジネス価値の創出 が加速します。

中央集権型とデータメッシュの比較 アーキテクチャの変革 中央集権型モデルでは、データエンジニアリングチームがすべ てのデータを管理する「ボトルネック」が発生しがちです。 一方、データメッシュでは各ドメインチームが自らのデータに 責任を持ち、「データプロダクト」として他のドメインにサー ビスを提供します。これにより組織全体のデータ活用能力が向 上します。 出典：https://datamarket.co.jp

• https://datamarket.co.jp

データメッシュとMCP Data Contractとしての MCP • データドメインが分散し、全体の可視性が低下していることが課 題 • データの探索、品質管理、責任分担が属人的で不明瞭になりがち な状況 • MCPは全データ資産を横断的に可視化・管理し、所有者やSLA、 リネージ情報を一元化 • これによりセルフサービスやガバナンス強化を実現し、データの 発見性、信頼性、利用効率を高める • Data Meshの分散による柔軟性を活かしつつ、MCPが統制を提 供することで、混乱を防ぎ全社的な価値創出を促進する Data Mesh & MCPはスタンダードな組み合わせになる ！

データメッシュつらみ 1 構成が難しくなりがち 技術的な複雑さと組織的な調整が必要です 2 まだ馴染みがないので、コンセプトが理解され にくい おそらく偉い方々や外国勢の流行りで、将来的には普及するで しょう 3 ドメイン間調整のコミュニケーションコストが 大変 「あのテーブル作って」という要望があらゆる方面から来ます 。とはいえ、これはデータエンジニアあるあるなので、仕方な いですね

3. Data Clean Room (DCR) プライバシーを保護したデータ活用の新潮流 DCRは、異なる組織間でプライバシーを保護しながらデータを共有・分析 できる環境です。 特定の分析クエリのみを許可し、元データへのアクセスを制限することで 、プライバシー規制に準拠したデータ活用を実現します。

日本では広告業界の導入例多い 業界大手の先行事例 ・電通・博報堂 ・三大キャリア 最近の導入事例 ・CCCMK ・ツルハホールディングス × アド インテ ・Line x Ponta

プライバシーテックの大きな流れ 出典 : NRI ITナビゲータ2025年版 データプライバシーの重要性 ・世界的にAI関連のセキュリティへの懸念が高まっています ・個人情報保護法やGDPRなどの規制強化により、安全なデータ 活用の仕組みが必須 ・NRIさんの予測によると、2030年までにプライバシーテックの 市場は現在のおよそ倍の市場に プライバシーテックはお金になる！

データエンジニアリングは 進歩を続けています！

4. 宣伝です！！！！！ DataMarketでは案件・メンバー募集中です！ 内製・プロセス設計 データ分析基盤構築 企業のデータ関連のお悩みに対 大きなものからアドホックなも 応します のまで構築します 技術相談サービス ライトな相談からディープな実装まで対応