725 Views
January 29, 18
スライド概要
Yahoo! JAPAN Tech Conference 2018 A-1 セッションのスライドです。
2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp
データセンタネットワークの取り組み サイトオペレーション本部 インフラ技術3部 村越 健哉 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
自己紹介 • 村越 健哉(むらこし けんや) • サイトオペレーション本部 インフラ技術3部 部長 • 第6代/第7代 黒帯 〜ネットワーク〜 • 2012年からヤフーへ • プロダクションネットワーク全般を担当 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ • ネットワーク概要 • Backbone Network • Data Center Network • 苦労している点 • データセンタネットワークの取り組み • Design • Box/Chip • Automation Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ネットワーク概要 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ネットワーク概要 EDGE(CDN) Internet Backbone Network Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. Data Center Network
ネットワーク概要 EDGE(CDN) Yahoo! JAPAN Network Infra Internet Backbone Network Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. Data Center Network
ネットワーク概要 EDGE(CDN) Internet Yahoo! JAPAN Network Infra サーバ:80,000 VM:100,000 ルータ:70+ コアスイッチ:200+ Data Center Network Backbone ロードバランサ:600+ Network エッジスイッチ:4500+ マネージメントスイッチ:3000+ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ネットワーク概要 EDGE(CDN) Internet Backbone Network Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. Data Center Network
Backbone Network Internet Internet 東北 大阪 九州 東京 CDN AS 24572 CDN AS 23816 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Actapio, Inc. Actapio, Inc. AS18140 AS24572 AS23816 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Actapio, Inc. Actapio, Inc. IngressZilla Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Backbone Network Internet Internet 東北 大阪 九州 東京 CDN AS 24572 CDN AS 23816 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Backbone Network 対外接続 500Gbps以上 Internet Internet 東北 大阪 九州 東京 CDN AS 24572 CDN AS 23816 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Backbone Network 対外接続 500Gbps以上 動画トラフィックは7〜8割 ニュース動画、GYAOなどにより North-Southのトラフィックは増加傾向 Internet Internet 東北 大阪 九州 東京 CDN AS 24572 CDN AS 23816 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Backbone Network 対外接続 500Gbps以上 動画トラフィックは7〜8割 ニュース動画、GYAOなどにより North-Southのトラフィックは増加傾向 Internet Internet IF増速、機器のグレードアップ 東北 =Scale Upで対応 大阪 九州 東京 CDN AS 24572 CDN AS 23816 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ネットワーク概要 EDGE(CDN) Internet Backbone Network Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. Data Center Network
Data Center Network ・・・ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・
Data Center Network Backbone Aggregation (棟 or フロア集約) 1棟 or 1フロア 1棟 or 1フロア Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・ 1棟 or 1フロア ・・・
Data Center Network ToRのトータルトラフィックは? ・・・ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・
Data Center Network 九州DCのエッジ uplink Total Traffic 約3.6 Tbps 東北DCのエッジ uplink Total Traffic 約1.5 Tbps ・・・ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・
Data Center Network 九州DCのエッジ uplink Total Traffic 東北DCのエッジ uplink Total Traffic 全拠点で約10Tbps 対外接続500Gbpsの20倍 ・・・ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・
Data Center Network 九州DCのエッジ uplink Total Traffic 東北DCのエッジ uplink Total Traffic 全拠点で約10Tbps 対外接続500Gbpsの20倍 HadoopやComputeとストレージ分離などにより East-Westトラフィックが急激に増加 ・・・ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・
Data Center Network East-Westに弱い Traditional Network East-Westに強い ・・・ ・・・ CLOS Fabric Network(zone security) Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Data Center Network • Janog38 ヤフーのIP CLOS ネットワークを参照 • https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf AS6500 BGPのAS番号はPrivate ASを利⽤ Internet Spine Router BFDで素早く検知 Bidirectional Forwarding Detection eBGP ACL (zone security) リンク間は/31 で節約 4x40G ・・・・・ AS65101 AS65102 ・・・・・ leaf配下は/26や/27 ・・・・・ AS651xx AS651xy AS65301 AS65302 AS653xx AS653xy ・・・・・ Core Layer3 Layer2 ルーティング経路はECMP (Equal Cost Multi Path) Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
苦労している点 • Traditional Networkの更改 • 20年以上の歴史 • それぞれの時代に応じたネットワーク機器・構成 • 保守費、保守期限、故障との戦い Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
ネットワーク概要 まとめ • North-South トラフィック • 動画トラフィックにより増加傾向 • Scale Upで増速、増強し対応 • East-West トラフィック • Hadoop、ストレージネットワークなどにより急激に増加 • Scale Upでは限界のため、Scale Outで対応 • zone securityでCLOS Fabric ネットワークを構築 • 歴史のあるネットワーク更改に苦労 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
データセンタネットワーク の取り組み Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
データセンタネットワークの取り組み https://code.facebook.com/posts/1782709872057497 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
データセンタネットワークの取り組み Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC (Broadcomなど) NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC (Broadcomなど) Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper
Design Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC (Broadcomなど) NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC (Broadcomなど) Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper
Design L3 ACL ACL L2 Traditional Network 同じセキュリティポリシー であれば構築可能 ・・・ ・・・ CLOS Fabric Network(zone security) Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Design • ACL数がコアスイッチで最大110,000以上 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Design • ACL数がコアスイッチで最大110,000以上 分散が必要 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Design • iptablesベースのセキュリティ管理システムを開発 • 開発環境で最終テスト中 様々なセキュリティポリシーが 共存可能 ・・・ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・
Box/Chip Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC (Broadcomなど) NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC (Broadcomなど) Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper
Box/Chip • 汎用ASICとカスタムASIC • 安く、タイムリーな速度のIFを利用 → 汎用ASIC(Broadcomなど) • Inbound TelemetryなどカスタムASICでしかできないことも検討中 • 昔:メーカー冗長 • 今:Chip Diversity Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Box/Chip • Advent Calendar 2017 参照 • データセンタネットワークの取り組みとFacebook Backpack • https://techblog.yahoo.co.jp/advent-calendar-2017/datacenternetwork_backpack/ Backpack Cum ulus Linux ® Cum ulus Linux ® ® Net wor k OS Cum ulus Linux ® ® Net work OS Fabric1 Fabric2 ® ® LC1-L Net w ork OS swp1〜16 ® ® Net work OS Fabric3 Fabric4 BGP ECMP Cum ulus Linux Cum ulus Linux ® Net work OS Cum ulus Linux ® ® LC1-R Net work OS swp17〜32 Cum ulus Linux ® Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ® LC2-L Net wor k OS Cum ulus Linux ® ® LC2-R Net work OS Cum ulus Linux ® ® LC3-L Net work OS Cum ulus Linux ® ® LC3-R Net wor k OS Cum ulus Linux ® ® LC4-L Net w ork OS Cum ulus Linux ® ® LC4-R Net w ork OS
Automation Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC (Broadcomなど) NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC (Broadcomなど) Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper
Automation • Janog40 ソフトウェアエンジニアが ネットワーク部隊に来ていろいろ やってみた 参照 • https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando00.pdf Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Automation • Janog40 ソフトウェアエンジニアが ネットワーク部隊に来ていろいろ やってみた 参照 • https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando00.pdf 既存のネットワーク機器は自動化、可視化 ができている Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Automation • Apstra AOS:CLOS Fabricに特化した自動化ツール • Intentベース(アドレス、ラック数、アップリンク帯域などを定義するだけ) • Config自動生成 • ケーブルミス、障害解析、Telemetryなど運用向上 自前でできないものをカバー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Automation • 国内DC Hadoopネットワーク リプレース 100G BGP, ECMP Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
DCNW取り組み まとめ • Hyper Scale(OTT)の良いところをうまく取り入れる • Design • 新しいセキュリティ管理システム • CLOS Fabric Network • Box/Chip • Chip Diversity • 新しい取り組みとしてFacebook Bakcpack • Automation • 自前運用ツール • CLOS Fabricに新しい運用ツール(Apstra) Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.