Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）LT③

OpenStack関連セッション 1 OpenStack Summit Barcelona 2016 参加報告 Ansibleによるおっちょこちょい の運用自動化 神尾皓 立見祐介 高橋拓也 4年間、OpenStackをデプロイし てみた OpenStack on Kubernetes 北田駿也 木下裕太 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

OpenStack on Kubernetes 2017年1月30日 インフラ技術１部 クラウドイノベーション 木下裕太(26) 2 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

デプロイの苦痛からの解放 OpenStack(大規模マイクロサービス)のデプロイの問題は roleを１つに集約したchefによって解決した！ 3 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

デプロイは一瞬 オペレーションは一生 しかし… デプロイ オペレーション chat お電話 process死んだ controller VM down controller VM の HV down 4 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. VMの再起動 筐体の調査 OpenStackの健全性確認…etc

デプロイは一瞬 オペレーションは一生 しかし… デプロイ オペレーション chat お電話 process死んだ controller VM down controller VM の HV down 5 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. VMの再起動 筐体の調査 OpenStackの健全性確認…etc

デプロイは一瞬 オペレーションは一生 しかし… デプロイ オペレーション chat お電話 process死んだ controller VM down controller VM の HV down 6 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. VMの再起動 筐体の調査 OpenStackの健全性確認…etc

オペレーションなんとかしたい OpenStackの運用をなんとかしたい 人間じゃなくて自動で管理させたい OpenStackはマイクロサービス マイクロサービスといえば… 7 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

オーケストレーション Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

OpenStack on Kubernetes Kubernetes上でOpenStackのコンポーネントを稼動させること node-01 node-02 node-03 オーケストレーション nova cinder コンテナ horizon 9 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

OpenStack on Kubernetes なぜKubernetes上でOpenStackを動かすのか？ • 自動フェイルオーバ(多少のnodeダウンは影響無) • Blue/Green デプロイメント • コンテナ化によりホストOSや他パッケージとの依存から解放 Yahoo! JAPANでは特に • 大規模クラスタにおいて柔軟なコントローラ群を実現 • 社内システムと連携するツールやバッチ処理もKubernetesで 10 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

実際どうやるっていうのよ Kubernetesが良いことはわかったが… どうやってOpenStackをデプロイするのか？ 11 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

デプロイの苦しみを繰り返さない Y!Jには4年間のデプロイの熱い歴史が… • 手動 • 手動 + chef • ansible + chef • chef 過去の経験を踏まえると…  手動や管理できないツールは使えない  computeとcontrollerを同じ手法で管理するのが望ましい 12 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

パッケージマネージャ これでOpenStackをデプロイする Helm Kubernetesにおけるパッケージマネージャ helmコマンド → yumコマンドに相当 chart(ファイル) → rpmパッケージに相当 詳細： https://helm.sh/ 13 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

How to deploy OpenStack 互いに疎通が可能なマシンをならべておく マシン (物理/仮想) 14 controller用 マシン (物理/仮想) マシン (物理/仮想) Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. マシン (物理/仮想) compute用

How to deploy OpenStack chefによるprovisioning recipe • kubernetes-master • kubernetes-node • etcd • kvm • その他… libvirtd qemu libvirtd qemu 15 Kubernetes-node Kubernetes-node マシン (物理/仮想) マシン (物理/仮想) controller用 Kubernetesnode マシン (物理/仮想) Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Kubernetesnode マシン (物理/仮想) compute用

How to deploy OpenStack helmによるOpenStackのdeploy 16 Kubernetes-node Kubernetes-node マシン (物理/仮想) マシン (物理/仮想) controller用 Kubernetesnode マシン (物理/仮想) Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. neturonagent libvirtd qemu novacompute neturonagent novacompute horizon cinder neutron keystone nova glance chart • configmap (各componentのconfを一元管理) • nova, netron, horizon…etc libvirtd qemu Kubernetesnode マシン (物理/仮想) compute用

実環境 https://horizon DB (MySQL) L4バランサ(HAProxy) https://horizon k8s-ctl01 k8s-ctl02 k8s-node01 k8s-node02 k8s-node03 nova k8s master 17 k8s-ing01 keystone k8s master その他 k8s-node04 RabbitMQ horizon http://horizon Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. k8s-ing02 kvm001 kvm002 Libvirt QEMU Libvirt QEMU compute compute L7バランサ SSL終端

• https://horizon
• http://horizon

デモ (実環境をお見せします) * Kubernetesのnodeをdownさせる Copyright Copyright © © 2017 2017 Yahoo Yahoo Japan Japan Corporation. Corporation.All AllRights RightsReserved. Reserved.

OpenStack on Kubernetes やってて感じてること (懸念点) • OpenStack も Kubernetes も運用するの？ • 動かすまでがすごい大変 • Kubernetesのバージョンアップどうする？ 19 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

OpenStack on Kubernetes やってて感じてること (懸念点) • OpenStack も Kubernetes も運用するの？ • 動かすまでがすごい大変 • Kubernetesのバージョンアップどうする？ でも、運用負荷は下がりそう！！！ 20 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

今後 OSSの導入検討 * kolla-kubernetes Kubernetesと連携するツール群の開発 * イベントをwatchして何かを行う CI/CD pipelineの整備 などなど… 21 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

おしまい Copyright Copyright © © 2017 2017 Yahoo Yahoo Japan Japan Corporation. Corporation.All AllRights RightsReserved. Reserved.