ヤフーのプライベートクラウドとクラウドエンジニアの業務について

ヤフーのプライベートクラウドと クラウドエンジニアの業務について 2018年8月9日 ヤフー株式会社 インフラ技術1部 プライベートクラウド 北田 駿也 1 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

whoami 北田 駿也(Shunya Kitada) • 2013年新卒入社、プライベートクラウドチーム所属 • OpenStack開発・運用、その他システム開発・運用 • 2 今日話すこと • ヤフーのプライベートクラウドについて • クラウドエンジニアの業務について Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

ヤフーのプライベート クラウドについて Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

ヤフーのプライベートクラウド ヤフーのサービス専用のクラウド ヤフーのプライベートクラウド = プライベートIaaS(Infrastructure as a Service) 物理的なサーバ、 ネットワーク、ストレージ などのリソースを仮想化 して提供するサービス 仮想マシン ヤフーのIaaS 実際の物理サーバ数よりも多くの 仮想マシンを作って提供している 物理サーバ ヤフーのインフラ（データセンタ、ネットワークなど） 4 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. VM: 100000+ 台 on HV: 7000+ 台

サーバの仮想化 プロセス プロセス OS OS プロセス プロセス OS OS 仮想マシンプロセス 仮想マシンプロセス OS 仮想化 5 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. ハイパーバイザ、 親機と呼びます

サーバの仮想化 なぜ仮想化するのか？メリットは？ プロセス プロセス OS OS プロセス プロセス OS OS 仮想マシンプロセス 仮想マシンプロセス OS 仮想化 6 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. ハイパーバイザ、 親機と呼びます

仮想化のメリット: 作成削除が速い マシンはもういらない マシンがほしい プロセス起動 するだけ プロセス プロセス OS OS 仮想マシンプロセス 仮想マシンプロセス プロセス停止 するだけ OS 物理サーバは用意す るのに数カ月かかる 7 物理サーバは破棄する のにも数ヶ月かかる Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

仮想化のメリット: 増減が容易 マシンが100台ほしい プロセス プロセス OS OS 仮想マシンプロセス 8 仮想マシンプロセス プロセス … OS 仮想マシンプロセス Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

仮想化のメリット: 変化できる CPU、メモリ、ディ スクのリソース もっとほしい！ プロセス プロセス OS OS 仮想マシンプロセス 仮想マシンプロセス OS リソースを割当てるだけ 9 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

仮想化のメリット: リソース効率化 CPUは1割使え れば十分 プロセス プロセス OS OS 仮想マシンプロセス 仮想マシンプロセス OS まだ余裕 10 CPU Xeon Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. CPUは2割使 えれば十分

仮想化のデメリット: ノイジーネイバ CPUは9割使うぞ！ プロセス プロセス OS OS 仮想マシンプロセス CPUは2割使え れば十分 （あれ？処理が 重い・・・） 仮想マシンプロセス OS ちょっとつらい！ 11 CPU Xeon リソースの効率化、割 当て計算が必要！ Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

仮想化のメリット: 移動できる マイグレーション プロセス プロセス OS OS 仮想マシンプロセス 仮想マシンプロセス ハイパーバイザA 12 ノイジーネイバのマシン 退避や余裕のあるマシ ンにプロセスを寄せる ハイパーバイザB Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

サーバの仮想化 • • • • • 作成削除が早く、増減が容易 変化できる リソース効率化 ノイジーネイバ 移動できる ？ 仮想マシン ヤフーのIaaS 13 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

Open Source Software ヤフーとOpenStack ヤフーのIaaSはOpenStackで構築されています • OpenStackとはIaaSを構築するためのOSS（Open Source Software） • 手順に従ってサーバにソフトウェアをインストール、設定するだけ で、IaaSクラウドを作ることができる • 14 自宅のPCでも作れます！ Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

ヤフーのプライベートクラウド ヤフーのプライベートクラウド = プライベートIaaS(Infrastructure as a Service) ユーザはインフラを意 識せずに、仮想的なリ ソースを利用できる 仮想マシン ヤフーのIaaS OpenStackで構築されている 物理サーバ ヤフーのインフラ（データセンタ、ネットワークなど） 15 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

クラウドエンジニアの 仕事 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

どんな仕事やってるの？ 開発業務 • 新規クラスタの構築、デプロイ構成管理 • 監視基盤構築・改善、バグ調査・改善 • コンピュート最適化、最新機器検証 • その他（ストレージ、ネットワーク、機能検証） 運用業務 • チケット問い合わせ対応 • アラート対応 17 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. DevOps チーム全員が開発も 運用もやるよ！

新規クラスタ構築 1つのOpenStackのセットを作ること WebUIダッシュボード (Horizon) 認証システム (Keystone) イメージ配信システム (Glance) ネットワーク管理システム (Neutron) コンピュート管理システム (Nova) ハイパーバイザ のプール 18 物理サーバ数 50 – 500台 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. 大規模なシステム 構築ができる！

ヤフーのOpenStackクラスタ OpenStackクラスタ A1 OpenStackクラスタ B1 OpenStackクラスタ C1 OpenStackクラスタ C2 OpenStackクラスタ A2 OpenStackクラスタ B2 データセンタA データセンタB データセンタC 全クラスタ数は 80+ 19 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

クラスタ数の増加遷移 クラスタ数 80+クラスタ 0 2013年 20 2018年 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

クラスタ数の増加遷移 クラスタ数 80+クラスタ 10000+ 台のサーバを 監視、運用してる！ 0 2013年 21 2018年 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. どうやって？

デプロイ構成管理、監視 • • • • • デプロイ構成管理ツール: Chef ブートストラップ、構成チェック: Fabric コンテナオーケストレーション: Kubernetes 監視: Sensu メトリクス: Graphite、InfluxDB、Graphana OpenStack以外にもOSSがたくさん！ 22 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

コンピュートの最適化 • • リソースの高効率利用のため • 例えば 100VM 載るホストの効率が 10% 上がれば、もう 10VM 利用可能！ 仮想化のオーバーヘッドの削減 • オーバーヘッドを減らすことで VM を高速に動作させること が可能 最適化された仮想マシンは、 最適化されてない物理マシンを超える 物理マシン、仮想マシン、OSの知識が活かせる！ 23 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

ヤフーのプライベートクラウド 全社のサービスを動かすための基盤を作るのが、 インフラ・クラウドエンジニアの仕事です メディア、広告、サイエンス 仮想マシン ヤフーのIaaS （= OpenStack） 物理サーバ ヤフーのインフラ（データセンタ、ネットワークなど） 24 Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved. クラウドチーム データセンタチーム ネットワークチーム ハードウェアチーム

最後に 25 • クラウドエンジニアはフロントエンドからバックエン ド、OS、インフラまで幅広い知識が求められる • 特に低レイヤーの知識が活かせる！ • 知的好奇心旺盛な人におすすめ • いろんなことがいっぱい知れる！ Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.

EOP Copyright © 2018 Yahoo Japan Corporation. All Rights Reserved.