--- title: データエンジニアの教科書 tags: author: [Akira Iwasaki](https://docswell.com/user/4881792) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/4EQYPD15JP.jpg?width=480 description: エンジニアBooks「データエンジニアの教科書」の宣伝で使用したスライドです。 発表時に話した内容についてはこちら↓ https://www.youtube.com/live/9663VpADmDc?si=kAMrOxrv1pUkRdcm published: October 07, 26 canonical: https://docswell.com/s/4881792/5GN4PX-data-engineering-textbook --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/4EQYPD15JP.jpg) データエンジニアの教科書 発表資料 1 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/KJ4WYZRV71.jpg) Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Never Materialized CHAPTER 04 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Never Materialized 自己紹介 本書の概要 簡単な経歴紹介をします 本書のスタンスと概要を説明 Never Materialized Materialized Oct 07 19:05 PM CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 CHAPTER 02 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方を解説 Never Materialized Never Materialized 2 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/LE1Y6RQ47G.jpg) 自己紹介 名前 岩崎 晃 エンジニアのキャリア ストレージ系SIerからデータエンジニアに転身 様々な企業や種別のデータ基盤を構築 データエンジニアリング専門の会社を設立 ホームページ・SNS X : @sista05 note : https://note.com/datamarket HP : https://datamarket.co.jp # Page. 4 ![Page Image](https://bcdn.docswell.com/page/GEWGW1MZJ2.jpg) 著者のエンジニアのキャリア 要点はここ SIer時代 エンタープライズNAS(Network Array Storage)開発 Debian OSのFileSystemやSNMPなどの開発 ハードウェアの開発や保守設計 データエンジニアとして 様々なデータ基盤構築プロジェクトに参画 1.自己紹介 モビリティ事業 / EC / 宿泊 / 広告 / etc ... 基盤の種類も大中小様々 CDP / (ニア)リアルタイム / レコメンド基盤 / ナレッジ・RAG基盤 仕事のスタンス 技術だけにとらわれないトータルバランスを重視します 4 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/47ZL5PQLJ3.jpg) 普段の生活 出身 愛知県出身 → 横浜・みなとみらい在住 最近は投資も兼ねてDIY物件を探し中 趣味 ランニング/ゴルフ/ 狩猟 / バー プロジェクト アート売買 趣味 / ポートフォリオ分散 アーティスト支援 ミラノパラリンピック文化プログラム 横浜トリエンナーレ 5 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/YJ6W9M6MJV.jpg) Agenda 本書の紹介 book overview >< opening >< 導入部分 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Never Materialized CHAPTER 04 「データエンジニアと未来」 データエンジニアの将来の 形を予想 Never Materialized 本書の概要 自己紹介 簡単な経歴紹介をします Materialized 本書のスタンスと概要を説明 Oct 07 19:05 Materialized Oct 07 19:07 PM CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 CHAPTER 02 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方について Never Materialized Never Materialized 6 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/GJ5MNZ6QJ4.jpg) 「データエンジニアの教科書」の概要 要点はここ データエンジニアの技術だけでなく組織や将来を語ります！ 7 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/9E295RMW7R.jpg) 「データエンジニアの教科書」のスタンス 要点はここ 仕事の全体を俯瞰する 取得から活用まで、データ基盤をひとつの流れとして捉える 技術だけに閉じない 組織・運用・マネタイズ・責任まで含めて、データ基盤を考える 判断軸の提供 特定の技術ではなく、状況に応じて選べる考え方を示す 8 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/D7Y4KDX9EM.jpg) 9 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/VENYR61DJ8.jpg) Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 自己紹介 本書のスタンスと概要を説明 Materialized Materialized Oct 07 19:05 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Never Materialized 本書の概要 簡単な経歴紹介をします CHAPTER 04 Materialized Oct 07 19:11 PM Oct 07 19:07 CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 CHAPTER 02 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方を解説 Never Materialized Never Materialized 1 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/Y79PML58E3.jpg) CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 「データエンジニアの基礎」のポイント データエンジニアの仕事は組織のサイロを壊すこと！ 技術を知る 要点はここ 異なるシステムやデータをつなぎ、履歴や品質を 保ちながら、使える形で届ける 部署間をとりつぐ 業務・分析・経営で異なる言葉や数字をつな ぎ、どれを正とするかまで調整する ビジネスまで踏み込む そのデータを誰が何のために使うのか理解し 技術や優先順位を決める 11 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/G78DLXYZ7D.jpg) CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 データ基盤の基本形4パターン 意思決定・経営指標系 マーケティング・CDP系 営業・CS向け プロダクト分析向け ※ # Page. 13 ![Page Image](https://bcdn.docswell.com/page/L7LML841JR.jpg) CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 意思決定・経営指標系データ基盤 売上・在庫・契約数などを揃え経営判断に使うための基盤 役割 主要機能 データ統合 KPI算出 レポート・可視化 設計ポイント 正確性・再現性・監査性 指標定義の統一 鮮度要件 活用例 経営会議・定期レポート ダッシュボード 帳票・レポート出力 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/4EMYM6K5EW.jpg) CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 マーケティング・CDP系データ基盤 購買履歴や行動を広告施策につなげる基盤 主要機能 顧客ID統合・名寄せ セグメント生成 配信連携・結果回収 設計ポイント 名寄せ精度 同意・プライバシー管理 施策に必要な鮮度 活用例 広告配信 クーポン配布 休眠顧客の掘り起こし 14 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/PER9VPXZJ9.jpg) CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 営業・CS向けデータ基盤 営業・サポートの情報を次のアクションにつなげる基盤 主要機能 顧客情報の統合 ヘルススコア算出 CRM連携・通知 なにをやるか 設計ポイント 顧客IDの統一 データの優先順位 現場の業務への組み込み 活用例 解約兆候の検知 フォロー対象の抽出 アップセル候補の発見 15 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/P7XQZ361EX.jpg) CHAPTER 01 デ ー タ エ ン ジ ニ ア の 基 礎 プロダクト分析向けデータ基盤 ユーザーの行動からアプリやサービスを改善する基盤 主要機能 行動ログ収集 ユーザー行動分析 実験・施策評価 設計ポイント イベント定義・粒度 分析の柔軟性 実験条件の再現性 活用例 離脱ポイントの発見 新機能の効果検証 継続率の改善 16 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/37K98Y1M7D.jpg) Agenda 本書の紹介 book overview >< opening >< 導入部分 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Materialized Never Materialized Oct 07 19:11 本書の概要 自己紹介 簡単な経歴紹介をします Materialized CHAPTER 04 Oct 07 19:05 本書のスタンスと概要を説明 Materialized Oct 07 19:07 CHAPTER 02 「データエンジニアと技術」 技術の最新動向を紹介 CHAPTER 03 「データエンジニアと組織」 組織での働き方を解説 Never Materialized Materialized Oct 07 19:16 PM 1 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/LJ3W29Q2J5.jpg) CHAPTER 02 デ ー タ エ ン ジ ニ ア と 技 術 「データエンジニアと技術」のポイント データ基盤の構造を役割でとらえる データの流れを意識 取得・蓄積・処理・変換・提供・運用 までデータの流れと責務を整理する。 管理の重要性も忘れない 品質・再実行・監視・コストまで含 めた運用を紹介。 ツールを超えた役割で整理 ツールが出てきても、何を解決し、 どの工程の責務を担う技術なのかで 位置づける。 18 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/8JDKZG96EG.jpg) CHAPTER 02 デ ー タ エ ン ジ ニ ア と 技 術 データ蓄積技術の最新動向 Lakehouseの競争は Icebergが軸になりつつある 何があった？ Snowflake・AWSがIceberg対応を拡大。DatabricksもIceberg 創設者らの会社Tabularを買収し共通規格として支持 どうしてそうなった？ データを特定のサービスに縛られずに使いたい需要により、 競合するベンダーも採用する共通規格となり採⽤を後押し これからどうなる？ 競争は共通規格をどう進化させ、誰が設計と実装を主導するかに 広がっています。 19 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/VEPKD39Z78.jpg) CHAPTER 02 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 技 技 術 術 データの提供・活⽤技術の最新動向 データの提供・活用技術の最新動向 データとAIの融合技術が進んでいる 何があった？ AIエージェントが企業データを直接利用するようになり、 Semantic LayerやContextLayerへの投資が進んでいます どうしてそうなった？ AI分析の精度は売上・顧客などの意味や、正しいデータ を選べるかどうかがを左右するため これからどうなる？ データ基盤は保存・処理だけでなく、意味・鮮度・由 来・関係性までAIに提供する基盤へ広がっています 20 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/27VV14MM7Q.jpg) CHAPTER 02 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 技 技 術 術 データオーケストレーションの最新動向 サービス・各社の統合再編が加速 何があった？ Fivetranとdbt Labsが統合し、PrefectはDagster Labsを 買収といった、競合会社の合併の流れが加速している どうしてそうなった？ 技術を一つにまとめるためというより、経済圧力に より会社統合する動きが広がっている これからどうなる？ 技術は標準化されオーケストレーションは当たり前の 機能に。機能は残っても単体で買う市場はなくなる 21 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/5JGL21GX7L.jpg) CHAPTER 02 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 技 技 術 術 データガバナンスの最新動向 データガバナンスがAIのガードレールへ 何があった？ アクセス制御だけでなく、AIに渡すデータの鮮度・正確性・意味まで管理 対象になります。正しい権限でも、間違ったデータを使えばAIは間違った 判断をします。 ガードレールやハーネスなどのAIを制御する仕組みなど AIにガバナンスを適用する動きが広まっている どうしてそうなった？ AIがデータを読むだけでなく操作まで担うため、言葉の 意味、使える権限、任せる範囲を決める これからどうなる？ 意味・権限・品質・証跡・コストへ、管理する領域が広 がり、仕組みで統制する運用へ向かっていく。 22 # Page. 23 ![Page Image](https://bcdn.docswell.com/page/47QYPDX5EP.jpg) Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 01 CHAPTER 04 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Materialized Never Materialized Oct 07 19:11 本書の概要 自己紹介 簡単な経歴紹介をします 本書のスタンスと概要を 説明します Materialized Materialized Oct 07 19:05 Oct 07 19:07 CHAPTER 03 CHAPTER 02 「データエンジニアと技術」 技術の最新動向を紹介 Materialized 「データエンジニアと組織」 組織での働き方を解説 Oct 07 19:16 Materialized Oct 07 19:21 PM 2 # Page. 24 ![Page Image](https://bcdn.docswell.com/page/KE4WYZ6VJ1.jpg) CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 「データエンジニアと組織」のポイント データエンジニアは組織のことも考える 組織構造で役割が変わる 中央集約型か各部署に配置されるかに よって責任範囲や関わり方は変わる 協働相手を理解する 分析・ML・営業・マーケなど 協働相手の⽬的や課題を把握する 使われ続ける状態をつくる 利用者が自律的にデータを使える環境を整 え、 障害時の連携や、基盤にかかるコスト の説明まで担う 24 # Page. 25 ![Page Image](https://bcdn.docswell.com/page/L71Y6RV4JG.jpg) CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 データエンジニアと調整 組織の問題は様々。DataMeshを例に考える 組織の問題は現場の性格により 様々です。そのため正解がありま せん。 あくまで例えですが、DataMesh をやろうという構想が降りてきた とします。だけど、日本のような トップダウンかボトムアップのや り方での仕事しかしたことない組 織では、あまりどのように自律性 を持ったら良いか判断がつかない ことがあって、最終的に頓挫する ことが多いです。 25 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/G7WGW1LZE2.jpg) CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 データエンジニアと調整 正解は一つではない そうした課題には、完全なDataMeshとは いかないまでも、中央集権型と分散型の ハイブリッドアーキテクチャのような形 におちついて運用しているケースがあり ます。 4つの理念がありますが、本家でも実務で は Data as a Productを優先して、他の柱 を後から育てるという現実的な進め方も 紹介されています。 参考:SansanでのDataMesh導入 https://buildersbox.corpsansan.com/entry/2026/02/02/130000 26 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/4JZL5PMLE3.jpg) CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 データエンジニアと調整 落とし所を作ることが肝心 重要なのは、形式的な問題にとら われず、それぞれ組織でしっかり した答えをもって皆の納得できる 形に落とし込むことができること です。 こうした考えをみんなに納得させ るには、杓子定規な考えに囚われ ず、包括的に物事を考える力。 そしてまだAIにはないコンテキス トレイヤー、つまりWork IQとい った経験が重要になると考えてい ます。 27 # Page. 28 ![Page Image](https://bcdn.docswell.com/page/YE6W9MNMEV.jpg) CHAPTER 03 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 組 技 織 術 AIが組織の問題に着⼿している AIが組織の問題に着手している DataMeshはAIと融合して次に進もうとしている ガバナンス実務をAIが補助する メタデータ整備、Data Contract、品質ルール、 変更レビューなどを支援 中央とドメインの往復を減らす 標準への適合確認やレビューを自動化し、人手 の調整を減らす 分散運用を回しやすくする Data Meshの思想を変えるのではなく、 実運用上の負荷を下げる 28 # Page. 29 ![Page Image](https://bcdn.docswell.com/page/GE5MNZ5QE4.jpg) Agenda 本書の紹介 >< opening >< 導入部分 book overview CHAPTER 04 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Materialized Oct 07 19:11 「データエンジニアと未来」 データエンジニアの将来 の形を予想 本書の概要 自己紹介 簡単な経歴紹介をします 本書のスタンスと概要を説明 Materialized Materialized Oct 07 19:05 Materialized Oct 07 19:21 PM Oct 07 19:07 CHAPTER 02 CHAPTER 03 「データエンジニアと技術」 技術の最新動向を紹介 「データエンジニアと組織」 組織での働き方を解説 Materialized Materialized Oct 07 19:16 Oct 07 19:16 2 # Page. 30 ![Page Image](https://bcdn.docswell.com/page/97295RNWJR.jpg) CHAPTER 04 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 未 技 来 術 「データエンジニアと未来」のポイント エンジニアの仕事はAIに任せる範囲を設計すること AIに渡す情報や権限を決める どのデータを信じ、どこまで操作して よいか前提とルールを整える 実装から結果まで検証 数字の意味や業務への影響まで確認し AIの出力が⽬的に合っているかを判断 AIもデータの利用者になる AIが正しく解釈できるよう 意味・品質・権限を整える必要がある 30 # Page. 31 ![Page Image](https://bcdn.docswell.com/page/DJY4KDP97M.jpg) CHAPTER 04 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 未 技 来 術 AI時代のデータ基盤 AIが高速に試⾏錯誤できる基盤が必要になる 試行ごとに環境を分ける 複数の案を同時に試せるように 作業環境をブランチとして切り分ける。 データを丸ごとコピーしない 共通部分は共有し変更分だけを保持。 試行環境を短時間低コストで作成する 途中からやり直せる データだけでなくコードや設定状態を保持。 失敗しても任意の地点から別の案を試せる # Page. 32 ![Page Image](https://bcdn.docswell.com/page/V7NYR65DE8.jpg) CHAPTER 04 デ デ ー ー タ タ エ エ ン ン ジ ジ ニ ニ ア ア と と 未 技 来 術 さらにその先の未来：データ基盤の未来 データ基盤が企業活動に直結する台帳になる 記録する対象が広がる 売上や在庫だけでなく、利用料、品質、 顧客活動、記録対象は広がっていく コストと成果を結びつける システム利用のコスト処理量だけでな く、コストが換えた価値を計測する 企業価値を計測可能にする 企業の活動を価値化し、共通の単位と定 義に変え意思決定できる形で残す 32 # Page. 33 ![Page Image](https://bcdn.docswell.com/page/YJ9PMLY873.jpg) 全体のまとめ 要点はここ 「データエンジニアの教科書」は判断のための本 データの先にある目的を考える 誰が、何のために使うのか。 その目的から、技術と設計を選ぶ 技術と組織をあわせて考える 品質・運用・責任分担まで整え、 データが使われ続ける状態をつくる 変化に向き合う判断軸を持つ 技術やAIが変わっても、 自分の現場に合う選択ができるように 33 # Page. 34 ![Page Image](https://bcdn.docswell.com/page/GJ8DLX6ZJD.jpg) Agenda 本書の紹介 自社宣伝 about DataMarket book overview >< opening >< 導入部分 CHAPTER 01 「データエンジニアの基礎」 データエンジニアの役割と データ基盤を解説 Materialized Oct 07 19:11 CHAPTER 02 本書の概要 自己紹介 簡単な経歴紹介をします 本書のスタンスと概要を説明 「データエンジニアと技術」 技術の最新動向を紹介 Materialized Materialized Oct 07 19:05 Materialized Oct 07 19:16 DataMarketの紹介 少しだけ自社紹介させて ください Oct 07 19:07 CHAPTER 03 「データエンジニアと組織」 組織での働き方を解説 Materialized Materialized Oct 07 19:31 PM DataMarketの紹介 Oct 07 19:21 CHAPTER 04 「データエンジニアと未来」 データエンジニアの将来 の形を予想 Materialized Oct 07 19:26 3 # Page. 35 ![Page Image](https://bcdn.docswell.com/page/LJLML891ER.jpg) 35 # Page. 36 ![Page Image](https://bcdn.docswell.com/page/47MYM6Z57W.jpg) 36