あなたの知らない(かもしれない)データセンターの世界 #yjfukuoka

ヤフー福岡 Tech Meetup #8 あなたの知らない(かもしれない) データセンターの世界 2020年12⽉2⽇ 佐藤 佑介 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

⾃⼰紹介 • 佐藤 佑介 • ⼤分県出⾝ 福岡県の⼤学を卒業 • 2009年ヤフーに新卒⼊社(東京勤務) • ⼊社依頼ずっとインフラ系業務をやってます • 2019年4⽉から天神オフィス勤務 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 2

学⽣時代の研究など • ⼤学では ロボットと画像処理の研究をしてました • RoboCupという ⾃律移動サッカーロボットの⼤会に毎年参加 (最⾼戦績は⽇本⼤会優勝&世界⼤会4位です︕) • 修⼠論⽂は ロボットの⾃⼰位置推定をテーマに書きました Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 3

ヤフーで関わってきた(インフラ系の)業務 • OS • サーバ • ストレージ • プライベートクラウド • ネットワーク • データセンター Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 4

本⽇お話する内容 • データセンタ概要説明 • • • • データセンターのコストとPUEについて • • PUEとは︖PUEを下げる⼯夫など ⼤規模環境のサーバ運⽤について • • データセンターとは ヤフーのデータセンターの紹介 セキュリティや災害対策について ⼤量のサーバを効率よく管理するための⼯夫 コラム:世界の⾯⽩データセンター Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 5

データセンターとは︖ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 画像:アフロ

データセンターとは︖ • データセンター (英: data center）とは、各種の コンピュータ（メインフレーム、ミニコンピュー タ、サーバ等）やデータ通信などの装置を設置・ 運⽤することに特化した施設の総称。 • データセンターの中でも、特にインターネット⽤ のサーバや通信設備・IP電話等の設置に特化した ものはインターネットデータセンター (Internet data center, iDC) と呼ばれる。 (Wikipediaより) Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

ヤフーのデータセンター 東北DC 九州DC 東北 • 九州 ⼤阪 ※DC=データセンター Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 東京 • ヤフーのDCは東北から九州まで 複数に分散 (+アメリカにも1拠点) 東京、⼤阪の都市型DCに対して 九州、東北は郊外型DC 9

ヤフーのデータセンター • ヤフーのDC内では ⼤量のIT機器が 稼働しています • サーバ台数は約8万台 • ネットワーク機器は7500台以上 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 10

データセンター セキュリティ • 厳重な⼊退室管理 • • ⽣体認証(静脈認証) サークル・ゲート (共連れ防⽌) • 監視カメラやセンサーなどによる 24時間体制の監視 • テナントやセキュリティレベルに 応じたゾーン分け Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 11

データセンター 災害対策 • 災害により電⼒が供給されなくなった場合も ⼀定時間は稼働し続ける仕組みがある • UPS(無停電電源装置) • • 商⽤電源停電時に瞬時に切り替え 数分~30分程度電⼒供給が可能 GTG(ガスタービン⾃家発電設備) • • • • 燃料を消費して発電する設備 UPSで供給している間に作動し発電が開始される 数⽇間の電⼒供給が可能 (燃料の貯蓄量次第) Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 12

データセンターにかかるコスト データセンターの運⽤コストは電気代が占める割合がかなり⾼い • • • • • サーバなどの機器から熱が発⽣するため冷却が必要 DCの消費電⼒ = サーバなどの消費電⼒ + 空調・冷却などにかかる電⼒ 効率を向上し消費電⼒を抑えることが重要 このデータセンターの電⼒使⽤効率を⽰す指標として PUEという値があります Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 13

PUE(Power Usage Effectiveness) • PUE:データセンターの電⼒使⽤効率を⽰す指標 • 1.0に近いほど⾼効率 PUE = DC全体の消費電⼒ IT機器による消費電⼒ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. = サーバなどの消費電⼒ + 空調や冷却設備などの消費電⼒ サーバなどの消費電⼒ ←これが ⼩さいほど良い 14

従来型空調⽅式 PUE > 1.5 室 外 機 室内機 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ラック 15

⽔冷型空調⽅式 PUE < 1.5 屋上 冷却 塔 冷却⽔ 室内機 ラック 冷媒管 熱交換器 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 16

外気空調⽅式 • 外気を取り込んで冷却に利⽤する • サーバから排出される暖気は 煙突効果により上部から排出される • PUE < 1.2 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 17

建物の話が続いたので少しだけ上のレイヤーの話 ⼤規模サーバ管理について Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

⼤規模サーバ管理について ⼤量のサーバをどうやって効率よく構築・管理するか • • OSインストール • サーバのリモートからの電源制御やハードウェア監視 • 構成管理などなど... このテーマはLISA(Large Installation System Administration)という名称で 毎年カンファレンスが開かれてたりします https://en.wikipedia.org/wiki/Large_Installation_System_Administration_Conference ⼀例として ヤフーではOSインストールをどのように効率化しているかを説明 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 19

• https://en.wikipedia.org/wiki/Large_Installation_System_Administration_Conference

(⼤量の)OSインストール CDを⼊れて1台1台⼼を込めてインストール作業 • OS インストールを⾃動化するシステムを独⾃開発して運⽤している • あらかじめ各サーバに⼊るべきOSや設定の情報をDBに登録しておく • サーバをラッキングして電源オン • あとはインストーラが⽴ち上がり⾃動で各種設定を実施 (パーティション/ファイルシステム/アカウント/ネットワーク設定などなど) • ⼤量のサーバセットアップもスピーディに完了 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 20

OSインストールシステム概要 DHCPでIP割り当て Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 21

OSインストールシステム概要 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 22

OSインストールシステム概要 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 23

OSインストールシステム概要 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 24

OSインストールシステム概要 Reboot後、焼き込まれたOS・設定で起動してくる Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 25

コラム 世界の⾯⽩データセンター Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

Microsoft: 海中データセンター • タンク型の密閉データセンターを海中に沈めるというアイディア • ネタかと思いきやProject Natickという名称で ⼤真⾯⽬に研究されている • 海⽔を利⽤して冷却 • 潮汐や⾵⼒、太陽光での 発電も視野に • 無⼈が前提で侵⼊も難しいため セキュリティ的にも良さそう︖ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. https://natick.research.microsoft.com/

• https://natick.research.microsoft.com/

Google: 機械学習により エネルギー効率を最適化するデータセンター • データセンター内の各種センサ値や設備設定値を⼊⼒値とし、 PUEを出⼒値として学習を⾏い、精度の⾼いモデルを作成 • このモデルを⽤いてPUEが最⼩になるよう 最適な空調設定を⾃動制御 • PUE1.1を実現 https://www.google.com/about/datacenters/efficiency/ Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

• https://www.google.com/about/datacenters/efficiency/

Huawei: わずか13⽇で組⽴完了する モジュールデータセンター • 通常データセンターの建造は半年~1年以上かかる • データセンターの各コンポーネントをモジュール化し 5階建のデータセンターをわずか13⽇で建造 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

Facebook:データセンターの機材や設備設計をオープンソース化 • Facebookが2011年に発⾜したOpen Compute Project (OCP) • データセンターやサーバ、ネットワーク機器など ハードウェアの仕様と設計を公開・共有し 省電⼒・低コストで環境負荷が少ないデータセンター構築を⽬指す • ヤフーも2015年から参⼊ • Microsoft、Google、Appleなども続々と参⼊している Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

コラム終わり Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.

本⽇の内容おさらい • データセンタについて • • • データセンターのコストとPUEについて • • ヤフーのデータセンタ紹介 セキュリティや災害対策なども PUEをいかに低くするかが重要 ⼤規模環境のサーバ運⽤について • • ⼤量のサーバを効率よく管理するための⼯夫 ⼀例としてOSインストール⾃動化を紹介 Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 32

おわり Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved.