ヤフーを支えるデータセンタネットワーク

ヤフーを支える データセンタネットワーク 2018年8月8日 ヤフー株式会社 サイトオペレーション本部 インフラ技術3部 坂本 要 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

自己紹介 坂本 要 • 2017年新卒入社 DCNW3所属 • 主にLB、GSLB、DNS等構築運用 • ネットワークの可視化自動化 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 2

ヤフーのネットワーク Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

データセンタネットワーク？ • ヤフーのプロダクションネットワーク を担当するチーム • 規模感 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. コアスイッチ:200+ ロードバランサ:600+ エッジスイッチ:4500+ マネージメントスイッチ:3000+ 4

取り組み • 既存ネットワークの運用 • 次世代ネットワークの設計、構築 • CLOSネットワーク、ホワイトボックススイッチ等 • サービス担当者からの依頼対応 • 運用のボトルネック改善 • 自動化、可視化、ツール開発 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 5

トラディショナルなネットワーク Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 6

トラディショナルなネットワーク Backbone Aggregation 1棟/1フロア Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 1棟/1フロア 7

CLOS ネットワーク より詳しく知りたい方は • JANOG38 ヤフーのIP CLOS ネットワーク • https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf ・・・ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・ 8

• https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf

ネットワークエンジニアの 業務 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

業務内容 • 依頼対応 • 内容に応じて設定投入 • ネットワーク障害は影響範囲が大きい • アラート対応 • 機器メンテナンス • 周辺ツール開発 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 10

サービスから様々な依頼がやってくる VLANを追加してくだ さい システムがおかしいのでNW の調査をしてください NW機器にこのよう な設定を入れること は可能でしょうか 突然サーバにsshできなくなりました 専用NWの構築をお願いします 機器にVIPの設定をしてください Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 11

サービスから様々な依頼がやってくる VLANを追加してくだ さい システムがおかしいのでNW の調査をしてください 該当時間のトラフィックを 調査してください Aレコードの設定をお 願いします NW機器にこのよう な設定を入れること は可能でしょうか 突然サーバにsshできなくなりました AからBへのポート開 放をお願いします 機器にVIPの設定をしてください Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 専用NWの構築をお願いします Geolocationの設定をしてください 12

牧歌的な運用の限界 • サービス規模、トラフィックの拡大 • オンプレ->IaaS->PaaS->CaaS等 の環境変化による依頼の増加 • 数千台規模の機器を運用しながら新規 構築、開発の必要性 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 13

自動化 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

人手作業の問題点 • 時間がかかる • オペレーションミスが発生する • • • • コピペミス 確認不足 知識不足 再発防止が困難 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 15

自動化の難しい点 • テスト • 失敗した際の影響範囲が大きい • マルチベンダー対応 • • ヤフーでは様々なベンダー、OSバージョンのネットワーク機器を 取り扱っている 情報取得方法、設定投入方法がバラバラ • NW/開発両方の知識が必要 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 16

設計 • OS毎の情報取得、投入経路選定 • CLI/Netconf/SNMP/API • 取得した情報の抽象化 • OSの差異を意識する必要をなくす Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 17

設計 • CLIコマンドベース • 自前実装/OSS利用 • オプションやサブコマンドで機能を追加し ていく • チケットシステムとの連携 • 起票されたチケットの情報から設定生成 • キューイングしておき、承認すると処理実 行 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 18

自動化のメリット • オペレーションにかかる時間短縮 • 作業内容の属人性廃止 • 事前確認項目の定義、ヌケモレ防止 • dryrunによる事前確認 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 19

監視・可視化 • アラートが上がっていても気付けなければ意味 がない • 可視化することで原因箇所の早期特定 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 20

監視・可視化 • アラートが上がっていても気付けなければ意味 がない • 可視化することで原因箇所の早期特定 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 21

最後に • こんな人におすすめ • • • 大規模ネットワークの設計構築運用に携わりた い 運用だけでなく開発もしたい CSS、JS等のフロントからNW運用、サーバ構成 管理、パケット解析まで何でも出来ます Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 22