[ZFS] git on ZFS

2024.04.19 git ――― ZFS 社内勉強会 秀野 亮 © 2024 LIFULL Co., Ltd.

git © 2024 LIFULL Co., Ltd. 2

git / ZFS 消えるファイル ● ● ⼀度git管理化に⼊れば、ファイルを消してしまってもどこかに残滓が残っている ○ git reset --hard HEAD@{1} ○ git fsck --lost-found ○ git cat-file -p / git ls-tree gitといえども、⼀度もadd/stashもしてないUntrackedなファイルは消える ○ © 2024 LIFULL Co., Ltd. git stash -u → git stash clear → ＼(^o^)∕ 3

git / ZFS gitの外 ● ● Windowsの場合、OneDriveに同期する仕組みがある ○ 許可のない外部サービスに依存すると困る ○ GoogleDrive、iCloudの同期も同様 Macの場合、TimeMachineなどバックアップの仕組みがある ○ ディスク単位で使いにくそう ○ 外付けディスク、なんてない © 2024 LIFULL Co., Ltd. 4

git / ZFS やりたいこと ● ● ZFS上でgit管理 ○ Macのファイルシステム(APFS)上に、ZFSのファイルシステムを作成 ○ ZFS上にgitリポジトリを作成 意図しない操作をなかったことにしたい ○ ZFSでファイルシステムごとロールバックすればいい ○ 出来ればファイル更新時に⾃動的にスナップショットを取りたい © 2024 LIFULL Co., Ltd. 5

ZFS © 2024 LIFULL Co., Ltd. 6

git / ZFS ZFSとは ● Sun Microsystems（現Oracle）がSolaris⽤に開発したファイルシステム ● ストレージの仮想化機能 ● ○ COWなトランザクショナルファイルシステム ○ 単体でRAIDが組める（RAID-0/1/擬5/擬6） ○ COWやRAIDの恩恵？なのか予測的な⾃⼰修復機能がある ライセンスに訴訟リスクがある ○ ZFSはCDDLでありGPLと互換性がないと⾔われている ○ Linuxは、Oracleの訴訟癖によりカーネルのメインラインには含めないと公⾔されている ○ Ubuntuは、OpenZFSをカーネル拡張として提供したが即いちゃもん付けられた © 2024 LIFULL Co., Ltd. 7

• https://en.wikipedia.org/wiki/Common_Development_and_Distribution_License#GPL-INCOMPATIBILITY

git / ZFS ZFSの構成 物理 ディスク ● ストレージプール 物理 ディスク 物理 ディスク ストレージプール ストレージプール ストレージプール 物理ディスクを仮想化したストレージ オンラインで物理ディスクの追加が可能 ファイル システム zpoolコマンドで操作 ● ファイルシステム ファイル システム ストレージプールから必要なぶん切り出す ファイル システム 作成時のパス名に⾃動マウント/⾃動アンマウント スナップショットによるロールバック/クローン ファイル システム ファイル システム zfsコマンドで操作 © 2024 LIFULL Co., Ltd. 8

git / ZFS インストール ● macOSにインストール ● ZFSがカーネル拡張のインストールを要求してくる ○ 旧世代の仕組みのため、起動セキュリティユーティリティで「低セキュリティ」に設定する 必要がある ○ 起動時に電源⻑押しで「復旧」アプリを起動して設定を⾏う ○ 画⾯上ディスクユーティリティしかないが、上部メニュー内にいるので注意 ○ Appleシリコンを搭載したMacの起動ディスクのセキュリティ設定を変更する ● 設定後に再起動し、カーネル拡張を許可して、もう⼀度再起動 ● kextstat | grep zfs でカーネル拡張が表⽰されればOK © 2024 LIFULL Co., Ltd. 9

• https://support.apple.com/ja-jp/guide/mac-help/mchl768f7291/13.0/mac/13.0

git / ZFS インストール © 2024 LIFULL Co., Ltd. 10

git / ZFS インストール © 2024 LIFULL Co., Ltd. 11

git / ZFS 構成 ● ● Macのファイルシステム構成 ○ 既存APFSのまま、新規ZFSストレージプールを追加したい ○ 再起動時に⾃動インポートされない問題はある ZFSの構成 ○ 物理ディスクの代わりに、ファイルやディスクイメージを使える ○ 試しにファイルをディスク代わりにして、その中にストレージプールを作る © 2024 LIFULL Co., Ltd. 12

git / ZFS 構成 - ストレージプール ● mkfileやddでファイルを作る ● 今回ローカルなのでどうでもいいが、スティッキービットが⽴ったディレクトリがよさそう © 2024 LIFULL Co., Ltd. 13

git / ZFS 構成 - ストレージプール © 2024 LIFULL Co., Ltd. 14

git / ZFS 構成 - ファイルシステム ● gitリポジトリごとにファイルシステムを作成する ● デフォルトでは作成時に指定したパスの場所にマウントされる ○ ● git/repo1 → /Volumes/git/repo1 今回は指定した場所にマウントする（mountpointプロパティ） © 2024 LIFULL Co., Ltd. 15

git / ZFS 構成 - ファイルシステム ● デスクトップに⼤量のマウントできたので、順番に作成したほうがいいかも ● デスクトップのマウント⾃体は、Finderの設定で⾮表⽰にできる ←ココ © 2024 LIFULL Co., Ltd. 16

git / ZFS 構成 - 起動時のインポート ● ディスクでなくファイルを使っている場合、起動時に⾃動インポートできない ● 起動後、⼿動でインポートする ○ launchdを⾃分で設定してもいいが、お試しなのでやらない ○ マウントしたくないファイルシステムはcanmount=offにしておけばマウントされない © 2024 LIFULL Co., Ltd. 17

git / ZFS 構成 - 起動時のインポート ● ディスクの場合、⾃動的にインポートされるはず ○ ● launchdを使っている Catalina以降はbash？zpool？のフルディスクアクセスを許可しないとダメかも ○ 設定＞プライバシーとセキュリティ＞フルディスクアクセス ○ zpoolという項⽬がOFFになっているが、ONにするべきか分からず放置‧‧‧ © 2024 LIFULL Co., Ltd. 18

git / ZFS 構成 - 起動時のインポート © 2024 LIFULL Co., Ltd. 19

git ――― ZFS © 2024 LIFULL Co., Ltd. 20

git / ZFS gitリポジトリ ● 権限周りのエラーが鬱陶しいので、先に.gitignoreを作成 ○ ● gibo dump macOSでZFSで作成される隠しファイルも含まれる あとは普通にgit init © 2024 LIFULL Co., Ltd. 21

git / ZFS クォータ ● ファイルシステムごとクォータもかけられる ○ © 2024 LIFULL Co., Ltd. ユーザーごとも可 22

git / ZFS スナップショット ● スナップショットはファイルシステムと同じストレージプール内に作られる ○ ● COWなので作成は⼀瞬 削除は「旧スナップショット名%新スナップショット名」で範囲指定できる © 2024 LIFULL Co., Ltd. 23

git / ZFS スナップショット © 2024 LIFULL Co., Ltd. 24

git / ZFS ロールバック ● スナップショットを指定して、その状態に戻せる ● 数世代前の状態に戻すには -r オプションが必要 ○ ● 指定したスナップショットより新しいスナップショットは消える ロールバックする前にクローンすれば、どのスナップショットがどの状態だったか確認できそう ○ PostgreSQL.AIが、PostgreSQL+ZFSで似たようなことをやっていた ファイルシステム pool/fs © 2024 LIFULL Co., Ltd. スナップショット pool/fs@1 クローン pool/fs-1 25

• https://postgres.ai/products/how-it-works

git / ZFS ロールバック © 2024 LIFULL Co., Ltd. 26

まとめ © 2024 LIFULL Co., Ltd. 27

git / ZFS まとめ ● Macのファイルシステムの⼀部をZFSにした ○ ファイルで代⽤した場合、起動時のインポート処理に問題あり ● 構築ができれば、基本的な使い⽅は直感的で分かりやすい ● 真の意味でgit resetできる ● できなかったこと ○ 物理ディスクでの構成 ○ RAID-Z以外の構成（ファイルで試すだけなら未指定でよかった気がする） ○ git clone時のファイルシステム⾃動作成 ○ ファイル更新時の⾃動スナップショット ○ 古いsnapshotの⾃動削除（ChatGPTに設計はしてもらった） © 2024 LIFULL Co., Ltd. 28

git / ZFS 参考 ● Common Development and Distribution License - Wikipedia ● ZFSを使ってみよう （基本編） ● ZFSを使ってみよう （応⽤編） ● ZFS on macOS | the working iron never rusts ● OpenZFSOnOSX - OpenZFS ○ https://openzfsonosx.org/wiki/ ● Appleシリコンを搭載したMacの起動ディスクのセキュリティ設定を変更する ● OpenZFS クラウドファイルシステム - Amazon FSx ● UbuntuでZFSを使ってみよう 第36回 ZFSのサブコマンドを再確認しよう(1) ● Postgres.AI ● © 2024 LIFULL Co., Ltd. 29

• https://en.wikipedia.org/wiki/Common_Development_and_Distribution_License#GPL-INCOMPATIBILITY
• https://www.fujitsu.com/jp/documents/products/computing/servers/unix/sparc-enterprise/technical/documents/00_ZFS.pdf
• https://www.fujitsu.com/jp/documents/products/computing/servers/unix/sparc-enterprise/technical/documents/zfs_apply.pdf
• https://tim.palpant.us/sysadmin/storage/2018/09/03/zfs/
• https://openzfs.org/wiki/OpenZFSOnOSX
• https://openzfsonosx.org/wiki/
• https://support.apple.com/ja-jp/guide/mac-help/mchl768f7291/13.0/mac/13.0
• https://aws.amazon.com/jp/fsx/openzfs/
• https://kusanagi.dht-jpn.co.jp/2022/12/miyazaki-2022-12-14/
• https://postgres.ai/