Fabric と Databricks連携入門 OneLakeカタログフェデレーション × Azure Databricks ミラー化カタログ

OneLake Deep Dive Fabric と Databricks連携入門 OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ 発表者：Satoshi Enomoto 2026/04/20

目次 • Fabric ユーザーが Databricks を使う理由 • OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • まとめ 2

Fabric ユーザーが Databricks を使う理由 • Fabric と Databricks を連携させる機能は大きく２つある ✓ OneLake カタログフェデレーション Databricks から OneLake 上のデータを複製せずに 読み取り参照できる（パブリック プレビュー） Microsoft Fabric Azure Databricks ✓ Azure Databricks Unity カタログのミラーリング Databricks の Unity Catalog で管理されるデータを複製せず カタログ構造を Fabric に同期し、Fabric から読み取れる Azure Databricks Microsoft Fabric Unity Catalog Unity Catalog レイクハウス OneLake ウェアハウス ミラー化された Azure Databricks カタログ カタログ 変換 ・ 分析 SQL ウェアハウス ノートブック スキーマ フェデレーション OneLake OneLake カタログ フェデレーションを有効にする - Azure Databricks | Microsoft Learn ミラーリング テーブル スキーマ テーブル Azure Databricks からの Microsoft Fabric Mirrored Catalog - Microsoft Fabric | Microsoft Learn 3

• https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/onelake
• https://learn.microsoft.com/ja-jp/fabric/mirroring/azure-databricks

Fabric ユーザーが Databricks を使う理由 • 2つの機能を組み合わせることで、Fabric で蓄積した OneLake のデータを正本として維持したまま、Databricks を“追加の分析・AI活用レイヤー”として使うことができる ＝ 「Fabricの置き換え」ではなく「OneLakeを保ったままDatabricksを追加利用する」 Microsoft Fabric Azure Databricks Azure Databricks Unity Catalog Unity Catalog レイクハウス フェデレーション OneLake カタログフェデレーション SQL ウェアハウス ノートブック OneLake ウェアハウス カタログ 変換 ・ 分析 Microsoft Fabric OneLake OneLake カタログ フェデレーションを有効にする - Azure Databricks | Microsoft Learn スキーマ ミラー化された Azure Databricks カタログ スキーマ ミラーリング Azure Databricks Unity カタログのミラーリング テーブル テーブル Azure Databricks からの Microsoft Fabric Mirrored Catalog - Microsoft Fabric | Microsoft Learn 4

• https://learn.microsoft.com/ja-jp/azure/databricks/query-federation/onelake
• https://learn.microsoft.com/ja-jp/fabric/mirroring/azure-databricks

Fabric ユーザーが Databricks を使う理由 • Databricks を追加の分析基盤として利用するユースケース例 ✓ 大規模な変換処理（Photon を利用した大量結合、アップサート、ワイドテーブル変換、繰り返しバッチ整形） ✓ 増分取り込みやストリーミング寄りの処理（※ 本発表では簡易的な増分取り込み処理を検証） ✓ ML/GenAI 系の処理 Azure Databricks 高負荷処理 レイヤー Microsoft Fabric 配信レイヤー 5

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Fabric にある 受注データをDatabricks にフェデレーションし、CDF で変更分だけを下流テーブルへ反映する。反映 したテーブルをミラーリングで Fabric に返す。 Microsoft Fabric レイクハウス：LH_OneLakeDeepDive OneLake ミラー化された Azure Databricks カタログ：sync_onelake order_items_raw bronze silver orders_raw sales_order_line customers master products フェデレーション ミラーリング Azure Databricks Unity Catalog カタログ：lh_onelakedeepdive bronze master カタログ：sync_onelake order_items_raw orders_raw customers silver 増分処理 （結合・MERGE） sales_order_line products 6

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Fabric でフェデレーション用のレイクハウスを作成 • Databricks にて手順に従い、OneLake カタログフェデレーションを実施 ✓ Azure Databricks における Microsoft Fabric OneLake をカタログ統合する機能の構築手順 #MicrosoftFabric - Qiita 7

• https://qiita.com/manabian/items/6652ec89aebd145f6561

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Fabric のレイクハウスにスキーマ・テーブルを作成 ✓ ポイント 増分処理ができるように、ソースとなるテーブルで Delta Lake の変更データフィード（CDF）を 有効にする 8

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Fabric のテーブルにサンプルデータを投入 ✓ マスタ：顧客マスタ（customers）、商品マスタ（products） ✓ 受注ヘッダ（orders_raw）：注文全体に1件だけある親情報 ✓ 受注明細（order_items_raw）：その注文の中に含まれる商品ごとの子情報 9

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Databricks にフェデレーションされていることを確認 ✓ ポイント Databricks 側からテーブルの変更履歴を取得できる 10

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Databricks にて Fabric へミラーリングするためのカタログを作成 • 増分処理のターゲットとなるテーブル（sales_order_line）を作成 ✓ 受注ヘッダと受注明細とマスタを結合した整形済みテーブル 11

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Databricks にて増分処理を作成 ※ 処理の概要 1. sales_order_line に保存されている最大 commit version を取得 2. orders_raw と order_items_raw に対して table_changes() を実行（差分取得） 3. 変更があった order_id を抽出 4. 該当注文の最新状態を orders_raw と order_items_raw とマスタを結合して構成 5. sales_order_line に MERGE 12

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Databricks にて増分処理を作成 ✓ バッチ実行する場合、処理のノートブックをジョブに登録 ✓ ポイント フェデレーションしたテーブルに対して、テーブル更新トリ ガーを設定することは不可（マネージドテーブルのみ） 13

OneLake カタログフェデレーション × Azure Databricks ミラー化カタログ検証 • Fabric でミラー化された Azure Databricks カタログを作成 ✓ 増分処理の結果テーブルを（sales_order_line）複製せずに Fabric で参照可能に ✓ ポイント Azure Databricks ミラー化カタログは OneLake セキュリティのサポート対象なのでアクセス制御可能 14

まとめ • データの複製をせずに、Fabric・Databricks のデータをお互いに参照できるため、Fabric はデータの配信レイヤー、 Databricks はデータの高負荷処理レイヤーとして補完しあいながらの使用ができる 1. Fabric OneLakeの生データを Databricks がフェデレーションで読む 2. Databricks で重い変換やML処理を実行 3. 結果を Unity Catalog 管理の Delta テーブルとして保存 4. Fabric からその Databricks カタログをミラーリングして消費 • Fabric でのテーブル変更履歴を Databricks で参照できるため増分更新が実現可能となる • 今後の展望 ✓ Databricks のバッチ ジョブのトリガーでテーブル更新トリガー利用できるようになるとコスト最適化が進みそう ✓ Databricks のストリーミングテーブルがミラーリング対象となれば、Auto CDC が利用できるようになりそう ➢ Structured Streaming と組み合わせて使用して、テーブルの変更データ フィードのバージョンを自動的に追跡（ AUTO CDC API: パイ プラインを使用して変更データ キャプチャを簡略化する - Azure Databricks | Microsoft Learn ） ✓ フェデレーションやミラーリングのサポート外のオブジェクトがあるため連携方法は慎重に検討する必要あり 15

• https://learn.microsoft.com/ja-jp/azure/databricks/ldp/cdc

ご清聴ありがとうございました！