184 Views
March 31, 26
スライド概要
Microsoft Data Analytics Day(Online) 勉強会_202603発表資料
勉強会: https://sqlserver.connpass.com/event/386300/
Qiita: https://qiita.com/satoshi_enomoto
株式会社ジール所属
Microsoft Data Analytics Day(Online) 勉強会 Azure Databricks の Onelake カタログ フェデレーション 発表者:Satoshi Enomoto 2026/03/31
自己紹介 • 榎本 聡(えのもと さとし) • 所属:株式会社ジール • 経歴:2022年4月~ • 最近の活動 ✓ JEDAI認定プログラム2026のPadawan受賞 JEDAI Order 2026 受賞者一覧 | Databricks User Groups 2
目次 • 機能概要 • レイクハウスのフェデレーション検証 • ウェアハウスのフェデレーション検証 3
機能概要 • Fabric 側に蓄積されたデータを Databricks でも活用したい一方、従来はデータコピーや同期処理が必 要となり、運用負荷やデータ鮮度の課題があったが、OneLake カタログフェデレーションにより、 Databricks から OneLake 上のデータをコピーせずに参照することが可能になる。 • 2026年3月時点でパブリックプレビュー機能 レイクハウス SQL ウェアハウス ノートブック Unity Catalog クエリ Onelake フェデレーション ウェアハウス OneLake カタログ フェデレー ションを有効にする - Azure Databricks | Microsoft Learn Azure Databricks Microsoft Fabric 4
機能概要 • レイクハウスとウェアハウスをカタログとして作成できる • レイクハウスの files をボリュームとして作成できる ✓ 構築手順の詳細:Azure Databricks における Microsoft Fabric OneLake をカタログ統合する機能の構築手順 #MicrosoftFabric - Qiita 5
レイクハウスのフェデレーション検証 • レイクハウス=カタログとして作成される • files は ボリュームとして作成される(2026年3月時点ではベータ版機能) 6
レイクハウスのフェデレーション検証 • 読み取りはできるが書き込みは不可 • サーバーレスで実行可能(クラシックコンピュートの場合、Runtime 18.0 以降と標準アクセス モードが必須) 7
レイクハウスのフェデレーション検証 • サーバーレス SQL ウェアハウスでも実行可能 8
レイクハウスのフェデレーション検証 • files にあるファイルも読み込み可能 9
レイクハウスのフェデレーション検証 • リアルタイムに反映 10
レイクハウスのフェデレーション検証 • 複合データ型 (配列、マップ、構造体) はサポートされていない ✓ テーブル名は見えているが、データ型やデータは見れない 11
レイクハウスのフェデレーション検証 • ミラーリングしたオブジェクトのショートカットもフェデレーション可能 ✓ Fabric で Azure SQLDB をミラーリング → レイクハウス ショートカット 12
レイクハウスのフェデレーション検証 • ミラーリングしたオブジェクトのショートカットもフェデレーション可能 ✓ Files で ADLS のショートカット 13
レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ SCC を有効(クラシック コンピュートにパブリックIPなし)にした Databricks ワークスペースを作成(VnetはAzureマネージ ド) ✓ クラシック コンピュートからの送信 IP は NAT ゲートウェイで固定 14
レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ Fabric のワークスペース設定の受信ネットワークのホワイトリストに NAT の IP を追加 15
レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ ホワイトリストの IP (クラシッククラスター)でアクセスするとメタデータは取得可能 16
レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ SELECT はうまくできず断念 17
レイクハウスのフェデレーション検証 • ワークスペースに受信ネットワーク保護を設定した場合の検証 ✓ サーバーレスだとメタデータも取得不可 18
ウェアハウスのフェデレーション検証 • レイクハウスと同じようにウェアハウス=カタログとして作成される • ビューはサポートされていない(マテリアライズドビューもサポート外) 19
ご清聴ありがとうございました!