関連スライド
各ページのテキスト
分かった気になれるレイクハウスアーキテクチャ Ibaraki.dev #21 もくもく会 @jyuch
自己紹介 • 普段はデータ基盤 のワンオペしています 2
アジェンダ • これまでのデータ基盤の課題 • レイクハウスアーキテクチャが解決してくれる未来 • AI時代にデータ基盤が備えるべきこと • おまけ 3
これまでのデータ基盤の課題 4
従来のデータ基盤アーキテクチャ 今までのデータ基盤は大きく • データウェアハウス（ • データレイク（ 2つのアーキテクチャに分類できる Data Warehouse ） Data Lake ） 5
データウェアハウスの特徴 データを統合し、意思決定支援・分析に活用する ETLツールが正規化・クレンジングを担当 基幹システム データウェアハウス 生データ ETLツール 正規化データ データキューブ 複数のデータソースを統合した分析 高度なクエリサポート・強力なアクセス権の制御が可能 アナリスト キューブ化などの事前処理による分析の高速化 6
データウェアハウスの課題 基となっている RDBMS の性能の限界がデータサイズの限界 スケールアップ戦略もいずれ限界が来る クレンジングロジックが散逸 基幹システム データウェアハウス 生データ ETLツール 正規化データ データキューブ アナリスト キューブ化されていない処理は遅い 非構造化データは別管理・アクセス権制御の範囲外 7
データウェアハウスの課題 実際に言っているところを見た 営業と 『 売上』 が一致しない 経理 分析軸の定義がブレる 今月の『 売上』 はこれです！！ 営業 複雑に相互参照し、“真実”が社内に分散する 製造 ボトムアップ導入で部門ごとに乱立する 8
データレイクの特徴 機械学習に耐えられる大規模なデータ基盤を構築する オブジェクトストレージ 生データ オブジェクトストレージ使い、安価に大量のデータを保存 中間データ だがこっちにはこっちの 分散処理ミドルウェアである 中間データ 結果データ クラウドにはクラウドのやり方がある モアコアだ そしてモアメモリ Hadoop / Spark クラスタを（クラウドに）展開し、スケールアウトで大規模データに対応する 9
データレイクの課題 データサイエンティストの世界 オブジェクトストレージ ビジネスアナリストの世界 処理が失敗して中途半端に壊れたデータ フワッとしたアクセス権管理 生データ 中間データ 結果データ ETLツール アナリスト アナリストが使うなら別途取り込みが必要 詳細は不明だが長年使われてきたデータ アナリストサイドは 退職した人が変換処理 を作ったデータ だがこっちにはこっちの コードで書かれるとアナリストは 読めない・書けない データウェアハウス クラウドにはクラウドのやり方がある モアコアだ そしてモアメモリ データサイエンスとアナリストで異なるデータ基盤 ⇒ 結局は『 真実』 が分散する SQL
レイクハウスアーキテクチャが解決してくれる未来 11
レイクハウスの特徴 データウェアハウスとデータレイクの両方の特徴を持つ Cloud Platform 仮想マシン オブジェクトストレージ データカタログ 基幹システム 半正規化データ データをそのまま取り込み ガバナンスレイヤーでアクセス権を制御 正規化データ Open Table Format でACIDを保証 アナリスト 内部でクレンジングを実施 SQLと Python のシームレスな統合 生データもアクセス権を制御 生データ 機械学習モデル 12
メダリオンアーキテクチャと Single Source of Truth 型を適切な形に置き換えたり異常データを除去 用途に特化しないクリーンなデータ データカタログ 基幹システム Bronze 外部から取り込んだデータをそのままの形で保存 Silver Gold アナリスト 用途に最適化されたビジネス向けのデータ 段階を踏んだ精錬で、データの分散を防ぎつつ 最適化されたデータを作る 13
AI時代にデータ基盤が備えるべきこと 14
データですべてを解決できるか？ Q. データが揃えば AIはユーザからの問いに答えられるか？ A. 無理 15
なぜか？ • 現実のデータはそこまで単純ではない • 売上にキャンセル分は含む？ • 送料は？ • アナリストは暗黙的なドメイン知識を元にデータを使用 ドメイン知識を AIに渡せる形で整備する 16
取説としてのセマンティックレイヤー • セマンティックレイヤーとしてビジネス指標を整備する • メジャー（数値指標）とディメンション（分析軸）を定義する • シノニムとしてビジネス用語の揺らぎを吸収する • 抽出条件とビジネス上の定義を関連付ける データカタログ Bronze Silver Gold セマンティック レイヤー 17
まとめ • データレイクでデータは集約出来た • 今後はデータの意味を集約する段階に入る • 仕事が減らねぇ・・・ 18