Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading

>100 Views

July 06, 17

#hadoopreading #Apache Big Data #Hadoop #YARN #HDFS #Stream Processing

スライド概要

2017.07.05 Hadoopソースコードリーディング 第23回
「Apache BigData + DataWorks Summit報告会」
https://connpass.com/event/60047/

profile-image
スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

slide-thumbnail

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
user-img Yahoo!デベロッパーネットワーク 159.9K
slide-thumbnail

ゼロから始める転移学習
user-img Yahoo!デベロッパーネットワーク 85.4K
slide-thumbnail

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon
idcon fidcon
user-img Yahoo!デベロッパーネットワーク 72.6K
slide-thumbnail

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo
openid openid_tokyo
user-img Yahoo!デベロッパーネットワーク 57.4K
slide-thumbnail

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤
devsumi
user-img Yahoo!デベロッパーネットワーク 34.8K
slide-thumbnail

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes
ml_kubernetes
user-img Yahoo!デベロッパーネットワーク 28.9K
各ページのテキスト
1.

Apache: Big Data North America 2017 ヤフー株式会社 山口 寛 2017/07/05 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

2.

About me • 経歴 • 広告レポー • Hadoop運用 • 運用の自動化 • 最近触れてるもの • • • • Co p yrig ht © 2 0 1 7 HDP Ambari Ansible Python Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

3.

About Apache Big Data • • • • Apache: Big Data North America 2017 May 16 – 18@Miami, Florida Apache Projects Developers, operators and users working in Big Data • http://events.linuxfoundation.org/events/apachebig-data-north-america Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

4.

Session Session Type Use Cases Ops Streaming SQL Hadoop Beam/Zeppelin Big Data Cassandra Deep Learning/GPU Machine Learning/Natural Language Processing Spark Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Num 16 11 9 9 7 6 6 5 5 4 4

5.

Hadoop関連の動向 Hadoopに関するセッション • Hadoop 3.0を中心に、SchedulerやJava9対応など • Docker on Hadoop • Hadoop on Docker • Ambari 2.5 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

6.

ストリーム処理関連の動向 ストリーム処理に関するセッション •9件 + Use caseなど •Stormは新規の話も利用例も見当たらず 各ストリーム処理が基本機能を抑えてきている •Beam モデル対応 •Exactly once •High level API Beamの話題感: 70人部屋で立ち見 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

7.

セッション紹介（Hadoop 系） 0 1 7 Yahoo Yaho o Japan Jap anCorporation. Co rp o ratio n.AllAll Rig hts Reserved . Co p yrig ht © Copyright Rights Reserved. © 22017

8.

セッション紹介 • • • • Docker on Hadoop Venturing into Large Hadoop Clusters Streamline Hadoop DevOps with Apache Ambari その他 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

9.

Automation of Rolling Upgrade for Hadoop Cluster without Data Loss and Job Failures • HDP Version UPの自動化 • HSCR #22で発表 • 聴講者15名程度 • 受けた質疑 • バージョンアップ頻度 • DNのリスタート方法 https://www.slideshare.net/techblogyahoo/automation-of-rolling-upgrade-of-hadoop-cluster-without-data-lost-and-job-failureshadoop-source-code-reading-22-hadoopreading Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

10.

0 1 7 Yahoo Yaho o Japan Jap anCorporation. Co rp o ratio n.AllAll Rig hts Reserved . Co p yrig ht © Copyright Rights Reserved. © 22017

11.

Docker on Hadoop Hadoop on Dockerではない! Why Docker on Hadoop? • プロセスの分離 • CGroups for resource isolation • Adds process • 環境の分離 • Control execution environment: libraries, JVM, OS • Unsafe operations Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

12.

Docker on Hadoop - Container Executor - 引用：http://events.linuxfoundation.org/sites/events/files/slides/DockerOnHadoop.pdf Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

13.

Docker on Hadoop - Container Executor - 引用：http://events.linuxfoundation.org/sites/events/files/slides/DockerOnHadoop.pdf Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

14.

Docker on Hadoop - Container Executor - 引用：http://events.linuxfoundation.org/sites/events/files/slides/DockerOnHadoop.pdf Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

15.

Docker on Hadoop - Setup How to run a Docker container through YARN • Setup LCE: パーミッションの設定 • Setup Docker: 各NMノードにインストールが必要 • Configure yarn-site.xml • Configure container-executor.cfg • Prepare Docker image: 実行ユーザのアカウントが必要 • Launch job: Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

16.

Docker on Hadoop - Caveats • • • • • • • Application owner must exist in Docker container Hadoop artifacts must exist in Docker containers Large images may fail No real support for secure image repos Basic support for networks Security implications Not really useful before Hadoop 2.9/3.0 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

17.

Docker on Hadoop - Summary • 利用用途 • pysparkなど必要な依存ライブラリがそれぞれで違うよ うなもの • doAsを設定しましょう • Hadoop 2.9/3.0以降で使いましょう • Slider natively supports Docker Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

18.

0 1 7 Yahoo Yaho o Japan Jap anCorporation. Co rp o ratio n.AllAll Rig hts Reserved . Co p yrig ht © Copyright Rights Reserved. © 22017

19.

Venturing into Large Hadoop Clusters 今後Hadoopが数万台規模のクラスタになる 上での課題と現状の取り組み 資料は未公開 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

20.

紹介されたもの YARN • YARN Federation YARN-2915 • ATS V2 YARN-2928 / YARN-5355 • ZKRMStateStoreの性能改善 YARN-2962 HDFS • HDFS Federation HDFS-1052 • HDFS EC HDFS-7285 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

21.

YARN Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

22.

YARNのスケール課題 • RMはシングルノードで動き、Nodes数とジョブの実 行数とに依存する • RMのMTTRはState storeにあるアプリケーション数 に依存する • ATSはSPOF • マルチテナンシーだとワークフローのデバックが難 しい Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

23.

YARN Federation : YARN-2915 • 100K Nodesのコントロール • SubCluster化で対応 • FederationServicesの導入 • RouterService • AM – RM Proxy Service • Policy and State Store ■ 参考 https://issues.apache.org/jira/browse/YA RN-2915 https://www.slideshare.net/HadoopSummit /yarn-federation Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

24.

ATS v2 YARN-2928 / YARN-5355 ATS v2 • 現状ATSはlocal storageを利用 • SPOF: • スケーラビリティ ❌ • リアイアビリティ ❌ • 対応 local diskからHBaseへ変更 https://issues.apache.org/jira/browse/YARN-2928 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

25.

ATS v2 YARN-2928 / YARN-5355 • ユーザビリティ改善：Flow概念の導入 • Flow : 複数のYARN Applicationを起動 して完了するApplication • pig / oozie / tezなど • Flow単位でカウンタ情報取得 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

26.

ZKRMStateStoreの改善 / YARN-2962 Zookeeperの仕様上単一のZnodeには1MB 以上のデータを保持できない • 設定変更し1MB以上書き込むと性能が 低下 保存するRootを分離した • 利用する場合にフォーマットとRM のリスタートが必須 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

27.

HDFS Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

28.

HDFSのスケール課題 • 今後Node数の増大と容量の増加に伴い Meta情報を管理しているNameNodeへの負荷が増大 • 大規模なクラスタになるとHDFSの信頼性担保のために行っているレ プリケーションがコストになる Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

29.

HDFS Federation/HDFS-1052 • Storageがスケールしても Namespaceに制限 • file/dir/blocks数に制限 • シングルノードではHWに制限 • メモリ容量が必要 https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/Federation.html Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

30.

Erasure Coding / HDFS-7285 • 既存のHDFS • 冗長化としてのレプリカ • レプリカ3での保存は オーバーヘッドが200% • 2blockまでロストを保証 https://techblog.yahoo.co.jp/infrastructure/hdfs_erasure_coding/ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

31.

Erasure Coding / HDFS-7285 • Erasure Coding • 冗長化にErasure Coding • Erasure Coding（6,3)の場合 オーバーヘッドが50% • 3blockまでロストを保証 https://techblog.yahoo.co.jp/infrastructure/hdfs_erasure_coding/ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

32.

0 1 7 Yahoo Yaho o Japan Jap anCorporation. Co rp o ratio n.AllAll Rig hts Reserved . Co p yrig ht © Copyright Rights Reserved. © 22017

33.

Streamline Hadoop DevOps with Apache Ambari • Ambariの現状と今後について • • • Ambari : hadoop clustorの構築/運用ツール Ambari2.5 Ambariの今後について Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

34.

Ambari 2.5 • • • • • • • Service Auto-Restart Manage JournalNode HA Download All Client Configs Scale Testing on 2500 Agents Password Credential Store HDFS TopN User and Operation Visualization etc Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

35.

Ambari Security http://events.linuxfoundation.org/sites/events/files/slides/ambari_apache_big_data_miami_2017.pdf Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

36.

Ambari Monitoring http://events.linuxfoundation.org/sites/events/files/slides/ambari_apache_big_data_miami_2017.pdf Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

37.

Future of Ambari 3.0 • • • • • • Cloud features Service multi-instance (e.g., two ZK quorums) Service multi-versions (Spark 2.0 & Spark 2.2) YARN assemblies & services Patch Upgrades: upgrade individual components in the same stack version, e.g., just DN and RM in HDP 3.0.*.* with zero downtime Ambari High Availability Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .

38.

0 1 7 Yahoo Yaho o Japan Jap anCorporation. Co rp o ratio n.AllAll Rig hts Reserved . Co p yrig ht © Copyright Rights Reserved. © 22017

39.

その他 PILOT HADOOP TOWARDS 2500 NODES AND CLUSTER REDUNDANCY • Criteoの事例紹介 : • クラスタの規模感が大きく、NNのGCのチューニングなど参考になるかも • 内部的にはChefで自動化している • DN運用はラック毎でコントロール Distributed Resource Scheduling Frameworks Is there a clear winner? • Distributed Resource Schedulingの比較： • 比較結果としてどれも進化の方向は同じ • スケジューラのMasterをスケールできる方向へ進化している • YARNでの取り組みも紹介されている Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .