YJTC18 A-1 大規模サーバの戦略

大規模サーバインフラの戦略 サイトオペレーション本部 藤見和英 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

この発表について 「サーバインフラ」の話しです。アプリケーションレイヤとは違った領域 についてお話させて頂きます。 写真:アフロ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

自己紹介 藤見和英 (ふじみ かずひで) • サイトオペレーション本部 インフラ技術2部 ハードウェア • 2010年入社 • 調達～保守までサーバインフラ全般を担当 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

アジェンダ • サーバインフラ概要 • OCPサーバ • 戦略的なパートナーシップ • 将来の取り組み Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

サーバインフラ概要 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

サーバインフラのキーワードは 全体最適化 と OCP Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

サーバインフラ規模 • 担当メンバー • ≒ 2チーム(約10人) + 業務委託メンバー • 物理サーバ • ≒100,000 • 機種 • ≒80 • パーツ点数 • 200,000～ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

サーバチームタスク 構成検討 検証・比較 物理作業 保守 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 分析

構成検討について • ヤフーでは大規模にサーバを導入する • 1台単位最適化するのではなく、全体で最適化されるように構成を検討する •例 • SSDの容量を80GB,120GB,…,900GB,1.6TB のようにラインナップ増やさない • 理由 • 管理コストの観点(在庫、潜在的バグ型番) Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

検証～保守 • 検証・比較 • 内製インストーラーのテスト • 付属ユーティリティのテスト • 物理作業 • 作業時間に大幅な影響を与える物理機構か確認 • 保守 • 独自フローをカバーできる保守スキームか確認 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

分析について • 将来のサーバ選定、パーツ選定の準備 • メーカーサーバだと委任 • OCPだと全部確認 • 故障率減少、調達価格の適正値 • 保守力高める、価格を知る • 運用の効率化 • ログツール、CLI、BMC各種の運用性・容易性 => 分析を用いて将来の全体最適化につなげる Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

OCPサーバ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」

• http://www.wiwynn.com/english/product/type/details/48?ptype=28
• http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3

サーバ種類 – 19インチサーバ • 伝統的な形状のサーバ • 社内 80%以上のサーバが1U/2U Rack Mount Server 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3」 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh2288-v3」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

• http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3
• http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh2288-v3

サーバ種類 – OCPサーバ • TechGiantが主導、新しいコンセプトのサーバ • 社内 2017年以降 1,000 node以上導入 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」 「http://www.opencompute.org/products/lightning-nvme-jbof/」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

• http://www.wiwynn.com/english/product/type/details/48?ptype=28
• http://www.opencompute.org/products/lightning-nvme-jbof/

OCP (Open Compute Project) • Facebookが主導 • Google, Microsoftなども参加 • オープンソースハードウェア • HyperScaleの思想 • “Take control of your technology future” ユーザ(購入側)が主導できる 「http://www.opencompute.org/」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

• http://www.opencompute.org/

OCPサーバ 様々なメリット • 物理運用 • フロントオペレーション、背面に移動必要なし 時間がかからない、暑くない • パーツ選定 • サーバベンダの調達ポリシーに影響を受けない 使いたいデバイスを組み込める • IPMI/SEL • 独自フォーマットがない、OCP準拠 システム開発容易 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

• http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme

とてもよい 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」 「http://www.opencompute.org/products/lightning-nvme-jbof/」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

• http://www.wiwynn.com/english/product/type/details/48?ptype=28
• http://www.opencompute.org/products/lightning-nvme-jbof/

戦略的パートナシップ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

サーバインフラを支えるパートナー サーバインフラ視点では、 ヤフーは「ユーザ」の立場なので各分野の会社と協力をする。 • サーバベンダ • サーバを提供する会社 • パーツサプライヤー • サーバ内に組み込む「単位のパーツ」を提供する会社 • ディストリビューター • 調達、導入、保守などの「Hardware」以外を提供する会社 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

パートナー企業規模感 ディストリビューター 約10社 サーバベンダ パーツサプライヤー 約12社 約15社 ヤフー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

パートナーシップ事例 • ラッキングレールの提案 • ラッキング業務からナレッジ集約して形状を提案 • サーバ搭載パーツの提案 • 故障率やCLI容易性を考慮してパーツを提案 「http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

• http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme

将来の取り組み Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

将来のサーバインフラ • 自立したサーバインフラへ • “売る側”のポリシーに影響される • 現状と今後 • (現状)パーツ選定においてサーバベンダのパーツポリシーに依存 主体的にパーツを選定 • (現状)手厚いサーバサポートとサポートコスト =>過去事例や故障率の統計を活用して不要なサポート削減 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

さいごに Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

まとめ • ヤフーは「大規模なサーバインフラ」を持っている • 大規模なので全体最適化が優先 + 統計的なデータも有効活用できる • OCPサーバ • 伝統的な19インチサーバと比較して様々メリット有 • サーバインフラを支える戦略的なパートナー企業がいる • サーバベンダ、パーツサプライヤー、ディストリビューターと協力 • 外部への依存をなくし自立したサーバインフラを目指す • 意思決定をヤフーが主体的にできる状態へ • 最新の取り組み => 「OCP」 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. 「http://www.wiwynn.com/english/product/type/details/48?ptype=28」

• http://www.wiwynn.com/english/product/type/details/48?ptype=28

ご清聴ありがとうございました Thank you for your attention Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.