Kubernetesと耐障害性

>100 Views

November 19, 26

スライド概要

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

CloudNativeと耐障害性 CloudNative Days Winter 2026 LT appare45

2.

自己紹介など 中村天晴(@appare45) ● 筑波大学情報科学類 4年生 ● 茨城県からきました ● Ultra-CoinsでKubernetesクラスタを運用してWebサーバーとか メール受信サーバを運用している 2

3.

Ultra-Coinsとは > Ultra-Coinsとは、情報科学類生とOB・OG向けの超正統派 コンピューティング人材育成環境です。 (ultra.coins.tsukuba.ac.jp より) サークルのようなもの ● ● ● ● 学生が適当にサーバを置く環境がある 適当なネットワーク・電源・物理的なスペースが確保されている みんなでなかよくラックを共有して使っている 各自好きなことをやっているので他のメンバーが何を やっているかを知らない 3

4.

写真 4

5.

問題 適当である=治安が悪い ● 電源はラック間で分離され、利用容量の上限が設定されている ● ネットワーク最上流は分離されたラック・電源で動作している ● みんなたくさん電気を使う よくラック単位で停電する 5

7.

目標 ラック単位で停電してもサービスを止めない 7

8.

耐障害性を確保するのに必要なこと 1. ワークロードの冗長化→Kubernetes 2. ストレージの冗長化→Ceph/レプリケーション 3. ネットワークの冗長化→VRRP・BGP (時間の都合で省略・資料をご確認ください) 8

9.

Kubernetes ● ワークロードを宣言した状態に近づけてくれる ● ノードに繋がらなくなったら勝手にPodを退避して作り直す →実際どれくらいダウンタイムがあるのか? 9

10.

Kubernetesとノードの死活監視 kubelet kube-apiserver status更新 lease保存 lease更新 10

11.

Kubernetesとノードの死活監視 kind: Lease apiVersion: coordination.k8s.io/v1 metadata: name: green-worker-4 namespace: kube-node-lease kube-node-lease namespaceに 勝手にできている … spec: holderIdentity: green-worker-4 leaseDurationSeconds: 40 renewTime: '2026-11-15T12:51:48.070380Z' 11

12.

Kubernetesとノードの死活監視 50秒変化がない場合 Unknown NoExecuteにする lease / ハートビートを監視する node controller Not Readyになる 12 =Serviceが転送しなくなる

13.

Not ReadyなPodのその後 kind: Pod apiVersion: v1 … tolerations: - key: node.kubernetes.io/not-ready operator: Exists effect: NoExecute デフォルトでつく tolerationSeconds: 300 - key: node.kubernetes.io/unreachable operator: Exists effect: NoExecute tolerationSeconds: 300 13

14.

Not ReadyなPodのその後 NoExecute 5分後に削除 taint-eviction-controller Not Ready 14

15.

タイムライン デフォルトの場合は以下のようになる 1. 0秒 : kubeletからlease更新が送られなくなる 2. 50秒後 : NodeがUnknown/NoExecute 3. 350秒後: Podが削除され再作成される ● Podの作成自体も時間がかかる ● 一気に大量のPodが対象になると削除はさらに遅延 ● ダウンタイムを短くしたい場合は調整が必要 ● 素朴にはレプリカを増やしたほうが良いがその分リソースが必要 15

16.

耐障害性を確保するのに必要なこと 1. ワークロードの冗長化→Kubernetes 2. ストレージの冗長化→Ceph/レプリケーション 3. ネットワークの冗長化→VRRP・BGP (時間の都合で省略・資料をご確認ください) 16

17.

ストレージも冗長化が必要 ● ワークロードが利用するデータにアクセスできないと困る 17

18.

Rook-Cephを使うといい感じにできる ● RookはCephをKubernetesで管理できるOperator ○ KubernetesのPVCとして振る舞う ● 障害に耐性をもたせるには全ラックに完全なコピーを置く必要が ある ○ 実データのラック数倍ストレージが必要 ● CephのErasure Codingという断片データを配置する方式に すればもう少しストレージ効率はあがるが耐障害性が下がる 18

19.

Ceph 各ラックにコピーを置く 19

20.

Rook-Ceph kind: Node apiVersion: v1 metadata: name: green-worker-4 creationTimestamp: '2026-11-06T05:13:03Z' labels: ラベルをつけて topology.rook.io/rack: rack4 20

21.

Rook-Ceph apiVersion: ceph.rook.io/v1 kind: CephBlockPool spec: failureDomainを指定すると failureDomain: rack replicated: size: 3 21

22.

いい感じにしてくれる 22

23.

まとめ ● 耐障害性は考えることがいろいろある ● CloudNativeにすることでやりやすくなっている ● 実際にやってみないとわからないことや単純にたくさん リソースが必要なことも多い 停電しても待っていれば復活してくれるようになった 23

24.

耐障害性を確保するのに必要なこと 1. ワークロードの冗長化→Kubernetes 2. ストレージの冗長化→Ceph/レプリケーション 3. ネットワークの冗長化→VRRP・BGP (時間の都合で省略・資料をご確認ください) 24

25.

インターネットからサービスへのアクセス 単一障害点 WAN クライアント LAN ルータ Kubernetes Pod Kubernetes Pod Kubernetes Pod 25

26.

インターネットからサービスへのアクセス 外側のIPアドレスは 1つにしたい クライアント ルータ ルータ Kubernetes Pod Kubernetes Pod Kubernetes Pod ルータ 26

27.

インターネットからサービスへのアクセス VRRP VIP ルータ 相互に監視する クライアント ルータ Kubernetes Pod Kubernetes Pod Kubernetes Pod ルータ 27

28.

インターネットからサービスへのアクセス VRRP クライアント VIP ルータ ルータ どこに転送するかル ータが知りたい Kubernetes Pod Kubernetes Pod Kubernetes Pod ルータ 28

29.

インターネットからサービスへのアクセス VIP クライアント 各ルータはWANのVIPと LANのVIPで静的にNATする ルータ VIP kube-vip Service ルータ kube-vip Service ルータ kube-vip Service BGP kube-vipがルータに VIPへの経路をBGPで広報する 29

30.

インターネットからのアクセス ● 外側(WAN)のIPは1つをVRRPによりActive-Standby ● 内側のIPアドレスはBGPでルータに広報する ● ルータは外側のVIPと内側のVIPを静的にNATする ちなみに治安が悪いのでVRRPのID(=MACアドレス)が他の ホストと重複しており気づくのが大変だった 30