Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②

>100 Views

January 30, 17

#Hadoop #ネットワーク #大規模クラスタ #IP CLOS #ヤフー

スライド概要

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

自己紹介 ◆ 名前 ◆ 深澤開 (ふかざわかい) ◆ 所属 ◆ データ&サイエンスソリューション統括本部データプラットフォーム本部開発2部 ◆ システム統括本部サイトオペレーション本部インフラ技術3部 (兼務) ◆ 業務 ◆ 全社Hadoopの設計・構築・運用 ◆ データセンター内ネットワークの設計・構築・運用 ◆ マイブーム ◆ ジム通い / ランニング 2 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

アジェンダ ◆ Hadoop概要 ◆ HadoopとNetwork ◆ Yahoo! JAPANのHadoop Network変遷 ◆ 今までのNetworkの障害・問題と解決 ◆ 今までのNetworkの障害・問題 ◆ 新クラスタでのNetwork要件 ◆ Yahoo! JAPANのIP CLOS Network ◆ 構成 ◆ Hadoopによるパフォーマンステスト ◆ 新たな問題 ◆ Future Plan 3 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

Hadoop 概要 ◆ HDFS ◆ Hadoop の分散ファイルシステム ◆ ファイルをブロック単位に分割して保存 ◆ レプリケーションを作成して保存 ◆ デフォルトで3レプリケーション ◆ デーモン ◆ Master : NameNode ◆ Slave : DataNode 7 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

Hadoop 概要 ◆ HDFS ◆ HDFS上のメタデータの管理 ◆ DataNodeの状態管理 ◆ ブロックデータの保存 “HDFS Architecture“. Apache Hadoop. http://hadoop.apache.org/docs/current/hadoop-projectdist/hadoop-hdfs/HdfsDesign.html. (01/17/2017). 8 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

http://hadoop.apache.org/docs/current/hadoop-project-

Hadoop 概要 ◆ YARN ◆ ジョブスケジューリングおよびクラスタリソース管理のためのフレームワーク ◆ 様々な分散処理が実行可能 ◆ MapReduce / Tez / Spark ◆ デーモン ◆ Master : ResourceManager ◆ Slave : NodeManager 9 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

10.

Hadoop 概要 ◆ YARN ◆NodeManagar の状態管理 ◆アプリケーションの状況把握 ◆処理ノードのリソース管理 ◆アプリケーションの管理 ◆アプリケーションの実行 “Apache Hadoop YARN“. Apache Hadoop. http://hadoop.apache.org/docs/current/hadoopyarn/hadoop-yarn-site/YARN.html. (01/17/2017). 10 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

http://hadoop.apache.org/docs/current/hadoop-

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

HadoopとNetwork YARN (リソースに空きがない場合) Map Reduce Map データのないノードで処理が Shuffle フェーズだけでなく Reduce 実行されるため Mapの段階でもノード間の通信が発生するデータ転送が Map 発生する Map 25 Shuffle Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

26.

HadoopとNetwork ◆Hadoop ではデータのレプリケーションや再配置、集計処理の中でデータの転送が多く行われる ◆North/South (縦方向)ではなく East/West (横方向) の通信がメイン ◆大規模なHadoopになるとより多くのラック間通信が発生する Low High 26 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

27.

HadoopとNetwork “Introduction to Facebook‘s data center fabric”. (11/14/2014). Retrieved https://www.youtube.com/watch?v=mLEawo6OzFM. (01/17/2017). 27 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

28.

HadoopとNetwork ◆ Oversubscription ◆ 求められる帯域と実際に利用できる帯域の比率 10Gbps 1Gbps NIC 40Nodes = 40Gbps 28 Oversubscription 40 : 10 = 4 : 1 “Hadoop オペレーション Eric Sammer 著、玉川竜司訳 (O’Reilly). Copyright 2013 Eric Sammer, 978-4873116525.” Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

29.

30.

Yahoo! JAPANのHadoop Network変遷 Cluster Volume 80 70 60 PB 50 40 30 20 10 0 Cluster1 Cluster2 Cluster3 Cluster4 Cluster5 (Jun. 2011) (Jan. 2013) (Apr. 2014) (Dec. 2015) (Jun. 2016) 30 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

31.

32.

Yahoo! JAPANのHadoop Network変遷 Cluster1 Stack 構成 4スイッチ/Stack 20Gbps 32 Nodes/Rack Server NIC UpLink Oversubscription Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 90Nodes 1Gbps 20Gbps 4.5 : 1

33.

Yahoo! JAPANのHadoop Network変遷 Cluster1 Stack 構成 Nodes/Rack 90Nodes Stack構成を組める Server NIC 1Gbps スイッチ数の限界 20Gbps 33 UpLink 20Gbps Oversubscription 4.5 : 1 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

34.

Yahoo! JAPANのHadoop Network変遷 Cluster2 Spanning Tree Protocol Nodes/Rack Server NIC UpLink Oversubscription 10Gbps … 34 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40Nodes 1Gbps 10Gbps 4:1

35.

Yahoo! JAPANのHadoop Network変遷 Cluster2 Spanning Tree Protocol Blocking Nodes/Rack Server NIC UpLink Oversubscription … 35 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40Nodes 1Gbps 10Gbps 4:1

36.

Yahoo! JAPANのHadoop Network変遷 Cluster3 L2 Fabric/Channel L2 Fabric 20Gbps 20Gbps Nodes/Rack Server NIC UpLink Oversubscription … 36 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40Nodes 1Gbps 20Gbps 2:1

37.

Yahoo! JAPANのHadoop Network変遷 Cluster4 L2 Fabric/Channel L2 Fabric 80Gbps 80Gbps Nodes/Rack Server NIC UpLink Oversubscription … 37 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 16Nodes 10Gbps 80Gbps 2:1

38.

Yahoo! JAPANのHadoop Network変遷 Release Jun. 2011 Volume #Nodes/Switch NIC Oversubscription 3PByte 90 1Gbps 4.5:1 Jan. 2013 20PByte 40 1Gbps 4:1 Apr. 2014 38PByte 40 1Gbps 2:1 Dec. 2015 58PByte 16 10Gbps 2:1 38 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

39.

40.

41.

今までのNetworkの障害・問題 Stack構成でのスイッチ障害 ◆ Stackを組んでいるスイッチのうち 1台に障害が発生 ◆ 一緒にStackを組んでいる他のスイッチにも影響 ◆ 5ラック分(90台)のノードが通信不能となる ◆ 計算リソースが不足し、処理停止に繋がる 41 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

42.

今までのNetworkの障害・問題 BUM Trafficによるスイッチへの負荷 ◆ サーバからのARPによるトラフィックが原因でコアスイッチのCPUが高騰 ◆ サーバ側のARPエントリの保持時間を調整 ◆ ネットワークアドレスが大きいことで発生した問題 L2 Fabric … … 4400Nodes 42 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

43.

44.

45.

46.

47.

48.

IP CLOS Network の採用 ◆Google, Facebook, Amazon, Yahoo… ◆OTT(Over The Top)が採用している DCネットワーク構成 “Introducing data center fabric, the next-generation Facebook data center network”. Facebook Code. https://code.facebook.com/posts/360346274145943/introducing-data-center-fabric-thenext-generation-facebook-data-center-network/. (10/06/2016). 48 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

49.

IP CLOS Network の採用 ◆East-West Traffic 増大に対応 ◆スケーラビリティの向上 ◆ボックススイッチのみであればいくらでもスケール可能 ◆可用性の向上 ◆Spineやアップリンクなど落ちても問題ない構成に ◆運用コストの低減 ◆OSPF,BGPなど一般的な構成なので、どんな会社のものでもOK 49 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

50.

51.

52.

53.

54.

構成 ◆ なぜこうような構成にしたのか? ◆ 管理するものを減らす ◆ IPアドレス、ケーブル、インターフェース、BGP Neighbor….. ◆ 別の物理的制約 ◆ フロアが1フロア限定 ◆ シャーシ型の構成でも今回の要件は満たせる ◆ シャーシ型のコストの変化 ◆ 以前よりもポート単価が安くなった Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

55.

56.

57.

58.

59.

60.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① 200 : 160 = 1.25 : 1 160G ② ③ Core ④ Leaf 10Gbps NIC 60 20Nodes ・・・・・・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

61.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① サービスアウト処理の制限の解消 200 : 160 = 1.25 : 1 160G ② ③ Core ④ Leaf 10Gbps NIC 61 20Nodes ・・・・・・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

62.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① UpLink 200 :の冗長化により耐障害性が向上 ③ 160 = 1.25 : 1 160G Leaf 10Gbps NIC 62 20Nodes ② Core ④ ・・・・・・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

63.

64.

65.

Yahoo! JAPANのHadoop Network変遷 Release Volume #Nodes/Switch NIC Oversubscription Cluster1 3PByte 90 1Gbps 4.5:1 Cluster2 20PByte 40 1Gbps 4:1 Cluster3 38PByte 40 1Gbps 2:1 Cluster4 58PByte 16 10Gbps 2:1 Cluster5 75PByte 20 10Gbps 1.25:1 65 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

66.

67.

68.

69.

70.

71.

72.

73.

74.

新たな問題 ◆ データ転送遅延 ◆ アップリンク4本のうち1本でエラーパケットが発生 ◆ この影響でデータ転送が遅延 Slow “org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror” 74 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

75.

新たな問題 ◆ データ転送遅延 ◆ アップリンク4本のうち1本でエラーパケットが発生 ◆ この影響でデータ転送が遅延 Slow “org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror” 75 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

76.

新たな問題 ◆ ラックを移動するとIPが変わる ◆ ラックごとにネットワークアドレスがついてる ◆ アクセスコントロールをIPアドレスでやっている ◆ 移設ごとにACLを変更しないといけない 192.168.0.10 192.168.0.100 192.168.0.0/26 76 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 192.168.0.64/26

77.

78.

79.

80.

81.

82.

83.

84.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D6 D1 Raw data Read P1 P2 D3 D2 P3 Parity 84 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. P1 D5 D4 D6 P2 P3

85.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D6 D1 Raw data Read P1 P2 D3 D2 P3 Parity 85 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. P1 D5 D4 D6 P2 P3

86.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D1 Raw data P1 P2 D6 D3 D2 P3 D4 D6 P2 Low Data Locality Parity 86 P1 D5 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. P3

87.

88.

89.

90.

91.

Appendix • JANOG38 • http://www.janog.gr.jp/meeting/janog38/program/clos • Hadoop Summit Tokyo 2016 • http://www.slideshare.net/HadoopSummit/network-for-thelargescale-hadoop-cluster-at-yahoo-japan 91 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.