Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

ヤフーのサービス開発を 10倍早くした社内PaaS構築の今と これから 2017年2月16日 窪野 Co p yrig ht © 2 0 1 7 安彦 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

自己紹介 窪野 安彦 ・システム統括本部プラットフォーム開発本部所属 （サービスの基盤となるようなシステムを担当） ・2004年入社 （当時はC言語でゴリゴリに書いてました） ・※Cloud Foundry®の環境構築と社内導入を行っています。 ※Cloud Foundryは、Cloud Foundry, Incの登録商標です。 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 1

アジェンダ 何故PaaSを導入したのか？ どんな風に使っているのか？ • 具体的な使い方 • デモ PaaSの先にあるもの Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 2

何故PaaSを導入したのか？ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

10年前の開発で使われていたもの アーキテクチャ • Apache + apache_module + 独自template 開発ツール • emacs + gcc + gmake & Jail • CVS パイプライン・デプロイ • CI等は特になし • デプロイは、scp *.so & apache restart Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 4

10年前の思想 コンピュータは貴重なリソース 頑張るのは人 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 5

現在の開発で使われているもの アーキテクチャ • OpenStack + LAMP + KVS + ・・・ 開発ツール • OpenStack + phpstorm とかのIDE・・・ • GHE パイプライン・デプロイ • CI/CD • 独自パッケージシステム • 等 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 6

我々の課題 使う道具は変わったけど 思想(≒アーキテクチャ)が 進化してない Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 7

問題点 あるサービスの例 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 8

あるサービスの例 WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 9

問題点 よくある課題 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 10

よくある課題 WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 11

Cronがこけてbatchが止まる WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 12

キャッシュファイルのscpに失敗する WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 13

アクセスが増えてサーバの増設が必要になる WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 14

WEB FTP CP API もっと手間がかからないようにでき ないか？SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 15

問題点 例えば Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 16

例えば WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 17

夜中にこけるバッチ WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 18

夜中にこけるバッチ WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Batch 社外 19

cronをやめてMQとかFaaSにする WEB FTP CP API SCP Cache RDBMS MQ FaaS 社外 ※FaaS = Function as a Service Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 20

もっと手間がかからなくなるかも WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 21

キャッシュのscpに失敗する WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 22

キャッシュのscpに失敗する WEB FTP CP API SCP Cache RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 23

キャッシュファイルはやめてKVSを立てる WEB FTP CP API KVS RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 24

もうscpで失敗しません WEB FTP CP API KVS RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 25

サーバの増設が必要になったら？ WEB FTP CP API KVS RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 26

サーバの増設が必要になったら？ WEB FTP CP API KVS RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 27

ここには新しい技術が必要だった WEB FTP CP API KVS RDBMS Co p yrig ht © 2 0 1 7 MQ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . FaaS 社外 28

問題点 まだ他にも課題がある Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 29

問題 バージョンアップとか セキュリティ対応が 多すぎる問題 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 30

膨大なサーバ群 物理、仮想サーバの合計 10万台以上 ※弊社独自の調査 2015年6月時点 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 31

お客様のデータを守るために ～膨大なサーバのソフトウエア更新～ ・リリース作業 ・脆弱性対応 ・ソフトウェアバージョンアップ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 32

問題 あるプロジェクトの例 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 33

あるプロジェクトの例 あるプロジェクトの サーバ プログラム開発 担当エンジニア バージョンアップ・ セキュリティ対応 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 34

エンジニアが少ないと毎月の対応が大変 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 35

そのうち機能追加や改修もできなくなる Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 36

担当エンジニアがテンパる Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 37

問題 そこで Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 38

担当を分けてみる Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 39

専任がいれば分業できるので Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 40

本来やりたかった開発に集中できる Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 41

Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 42

Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 43

問題点 ただし社内の全チームで それができるわけではない Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 44

よくある課題 そこで Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 45

ヤフーには沢山のサービスがある Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 46

多くのサービスで問題が起こっている Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 47

それぞれのサポートをしてあげたいけど Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 48

現実的には厳しい Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 49

そこでまとめて面倒を見ることができれば？ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 50

Nice Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 51

ここでPaaSの出番！！！ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 52

次から具体的な使い方の 説明をします。 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 53

どんな風に使っているのか？ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

まずは Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 55

PaaSとは？ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 56

PaaSとは？ PaaS =Platform as a Service Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 57

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ ◯ ☓ OS ◯ ☓ ☓ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 58

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ ◯ ☓ OS ◯ ☓ ☓ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ IPアドレスを用意する Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 59

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ ◯ ☓ OS ◯ ☓ ☓ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ サーバをラッキングする Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 60

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ ◯ ☓ ☓ ☓ OSをインストール OS ◯ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 61

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ OS ◯ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ Co p yrig ht © 2 0 1 7 ◯ WEBサーバを インストール ☓ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . ☓ ☓ 62

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ OS ◯ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ Co p yrig ht © 2 0 1 7 ◯ PHPを インストール ☓ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . ☓ ☓ 63

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ ◯ ☓ OS ◯ ☓ ☓ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ プログラムをデプロイ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 64

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ ◯ OS ◯ ☓ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 以前は全部 ☓ やっていましたが ☓ 65

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ランタイム ◯ ◯ ミドルウェア ◯ ◯ OS ◯ ☓ ハードウェア ◯ ☓ ☓ ネットワーク ◯ ☓ ☓ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . ◯ ☓ 最近はここだけ ☓ やるのが主流 ☓ 66

PaaSとは？ 物理サーバ IaaS PaaS(CF) アプリケーション ◯ ◯ ◯ ランタイム ◯ ◯ ☓ ミドルウェア ◯ ◯ ☓ OS ◯ ☓ ☓ ハードウェア ◯ ネットワーク ◯ Co p yrig ht © 2 0 1 7 ☓ ☓ サービス開発エンジニアが アプリケーション開発に ☓ ☓ 集中できるようになる！！！ Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 67

Cloud Foundryとは？ Cloud Foundry®とは？ ※Cloud Foundryは、Cloud Foundry, Incの登録商標です。 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 68

Cloud Foundryとは？ オープンソースのPaaSプラットフォーム • 多くのベンダーで採用 Cloud Foundryベースのプロダクトなので、 他プラットフォームのノウハウも参考にできる • 動作環境を選ばない 複数のIaaS(OpenStackなど)や 仮想化基盤を利用できる • 拡張性が高い 好みの開発言語やデータベースなどを追加・拡張して 独自のPaaSとしてカスタマイズしやすい Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 69

なにが嬉しいのか？ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 70

プログラムをデプロイするだけで サーバを構築してくれる cf push {アプリケーション名} {オプション} {アプリケーション名}：開発者がデプロイするアプリを一意に認識 -n：ホスト名（例. hoge） -d：ドメイン（例. example.co.jp） 実行URLはオプションで指定した “ホスト名” + “ドメイン” となる hoge.example.co.jp Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 71

何が起こっているのか？ App CF Droplet xxx.yahoo.co.jp Application push Runtime Extension Container Droplet OS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 72

デモ１ Cloud Foundryを使った アプリケーションの デプロイ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 73

デモ1 - 1：アプリケーションのデプロイ 必要な物は ソースコードと 設定ファイルのみ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 74

デモ1 - 2：PHPのバージョンを上げてみる 変更箇所は 設定ファイルのみ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 75

自己紹介 田口 雅浩 ・CTO室SWATチームに所属 （社内の技術的な課題解決のため、様々なサービスや 基盤システムをサポート） ・2007年新卒入社、ヤフオク!開発を経て、SWATへ ・現在ではPaaSの導入に向けて、CI/CDのサポート Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 76

デモ1 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 77

CI/CDはどうしよう？ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 78

CI/CDはどうしよう？ 前提条件 CFと相性が良さそうなもの モダンな開発手法に合ったもの Concourseのメリット パイプラインが見える化されてる YAMLでパイプラインが書ける Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 79

Concourseに決定 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 80

パイプラインの構成要素 パイプラインは「Tasks」「Resources」「Jobs」の3要素で構 成されています。 入力 Resource 出力 Resource Job • Task • Task Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 81

デモ 2 Concourseを使った パイプラインのデモ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 82

Concourseを使ったパイプラインデモ GHE MYM commit notification message xxx.yahoo.co.jp MYM check test deploy CF push CF Concourse Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 83

デモ2 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 84

PaaSの先にあるもの Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

PaaS導入の旅 2017年 本格導入 2018年 拡大 2016年 先行サービス Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 86

とにかくサービスが沢山ある 増え続けてきたサービス １００以上 (2016年9月末時点) 開発言語の違い C、Perl、C++、PHP、Node.js、Java... 素材提供：アフロ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 87

それぞれアーキテクチャも違う 小規模サービス 大規模サービス API Gate way sear ch logic list logic cart logic 例）コマース系サービス等 例）新規サービス等 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 88

共通のアーキテクチャを全社展開するのは難しい 素材提供：アフロ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 89

組織毎に対応策を見つける 組織内エバンジェリスト(非公式) 今のところ２０人ぐらい それぞれの組織・サービスに合った 導入方法を進めている Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 90

推進体制イメージ 社内推進 組織内 エバンジェリスト 現場エンジニア プロジェクト ショッピング 担当 ショッピング エンジニア Co p yrig ht © 2 0 1 7 ショッピング エンジニア Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . オークション 担当 メディア担当 オークション エンジニア メディアエン ジニア 91

今までは独自技術で開発スピードアップをしていた ・検索エンジン ・フラットファイルDB ・プロセス間通信技術 ・パッケージ管理 素材提供：アフロ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 92

独自技術の多くは簡単にはCFで動かない 写真：アフロ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 93

既存システムとの連携が必要 DB Prox y router app1 app2 FE API KVS etc システムログ アプリケーションログ API Gateway 独自技術 独自技術 独自技術 独自技術 94 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . MQ FaaS

PaaSを構築してからも やることが沢山ある Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 95

さらに Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 96

PaaSはあくまでも道具 使い方はもっと重要 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 97

開発手法との融合が必要 写真：アフロ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 98

最終的に お客様に 付加価値を届けるスピードを 「１０倍」にしていきたい Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 99

まとめ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

まとめ 何故PaaSを導入したのか？ • 付加価値の高い開発に集中するため どんな風に使っているのか？ • CF • Concourse PaaSの先にあるもの • 社内普及・既存機能との融合 • 開発手法のバージョンアップ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 101

ご清聴ありがとう ございました Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 102

Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .