Yahoo! JAPAN の Ambari 活用事例 #ambarimeetup

>100 Views

May 12, 16

#ambarimeetup #Ambari #Hadoop #クラスタ管理 #大規模データ #Yahoo! JAPAN

スライド概要

Ambari Meetup Tokyo #1 at Yahoo! JAPANのスライドです。
http://connpass.com/event/30398/

profile-image
スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

slide-thumbnail

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
user-img Yahoo!デベロッパーネットワーク 159.9K
slide-thumbnail

ゼロから始める転移学習
user-img Yahoo!デベロッパーネットワーク 85.4K
slide-thumbnail

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon
idcon fidcon
user-img Yahoo!デベロッパーネットワーク 72.6K
slide-thumbnail

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo
openid openid_tokyo
user-img Yahoo!デベロッパーネットワーク 57.4K
slide-thumbnail

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤
devsumi
user-img Yahoo!デベロッパーネットワーク 34.8K
slide-thumbnail

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes
ml_kubernetes
user-img Yahoo!デベロッパーネットワーク 28.9K
各ページのテキスト
1.

Yahoo!  JAPAN  の Ambari 活⽤用事例例 ヤフー株式会社 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部グリッド 深澤 開 2016年年04⽉月28⽇日 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

2.

⾃自⼰己紹介 ⽒氏名 深澤 開 (2013年年度度新卒) 業務 Hadoopクラスタの設計・構築・運⽤用 データセンター内ネットワークの構築 趣味・興味 テニス・ボルダリング・ダーツ(最近はじめた) Splatoon   (妻の⽅方が上⼿手) Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

3.

私の Ambari 歴 2015/03 2015/05 2015/07 2015/10 2015/11 2016/02 2016/05 • v1.7.0 • v2.0.0 • v2.1.0 • v2.1.1 • v2.1.2 • v2.2.0.0 • v2.2.2.0 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

4.

アジェンダ • Yahoo!  JAPAN  での Ambari 活⽤用 • Ambari 概要 (Yahoo!  JAPAN  の事例例を添えて) • 最近の出来事 • MoveNameNode で⼤大苦戦 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

5.

Yahoo!  JAPAN  での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster3 30PB (2014/4) Cluster4 58PB (2015/12) Cluster5 90PB (2016/06) ※ 構築中 このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

6.

Yahoo!  JAPAN  での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) • Cluster2 Cluster3 2クラスタで 20PB Ambari を⽤用いて 30PB (2013/01) (2014/4) 構築・運⽤用 Cluster4 58PB (2015/12) Cluster5 90PB (2016/06) ※ 構築中 このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

7.

Yahoo!  JAPAN  での Ambari 活⽤用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster3 30PB (2014/4) Cluster4 58PB (2015/12) 800台 Cluster5 90PB (2016/06) ※ 構築中 800台 このほかにユーザ開発⽤用のクラスタや検証⽬目的のクラスタでも利利⽤用 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

8.

Ambari 概要 Hadoopの構築・管理理・運⽤用を 簡単にする100%オープンソースのツール https://ambari.apache.org/ Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

9.

Ambari 概要 クラスタ管理理 監視・通知 ホスト管理理 設定管理理 View Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

10.

Ambari 概要 クラスタ管理理 監視・通知 ホスト管理理 設定管理理 View Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

11.

Ambari 概要 クラスタ管理理 監視・通知 ホスト管理理 設定管理理 View Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

12.

Ambari 概要 クラスタ管理理 ホスト管理理 • Ambari ⾃自体のHAが できていない • 台数が多いため負荷が⾼高い • カスタマイズ性が物⾜足りない 設定管理理 監視・通知 View Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

13.

Ambari 概要 クラスタ管理理 監視・通知 ホスト管理理 設定管理理 View • 開発者向けの機能のため 使⽤用は⾒見見送り Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

14.

クラスタ管理理 ダッシュボード Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

15.

クラスタ管理理 初期構築 Agent  を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

16.

クラスタ管理理 初期構築 Agent  を⼊入れたサーバからコンポーネントを コンポーネントごとの アサインしたいサーバをポチポチ選ぶだけ パッケージ管理理/インストール をしなくていいので楽 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

17.

クラスタ管理理 初期構築 Agent  を⼊入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ Agent  の管理理が必要 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

18.

クラスタ管理理 クラスタ Ambari Server   Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

19.

クラスタ管理理 クラスタ Ambari Server   オペレーション指⽰示 Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

20.

クラスタ管理理 クラスタ 実⾏行行 Ambari Server   オペレーション指⽰示 Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

21.

クラスタ管理理 クラスタ Master  Node  /   Application Data  Node 実⾏行行 Ambari Server   オペレーション指⽰示 Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

22.

クラスタ管理理 クラスタ Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単！ Master  Node  /   Application Data  Node 実⾏行行 Ambari Server   オペレーション指⽰示 Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

23.

クラスタ管理理 クラスタ Agentの⾃自動インストール コンポーネントの追加 通常構築は簡単！ Master  Node  /   Application Data  Node 800  Node 実⾏行行 Ambari Server   オペレーション指⽰示 Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

24.

クラスタ管理理 クラスタ Agentの⾃自動インストール コンポーネントの追加 800台の 通常構築は簡単！ Master  Node  /   Application Ambari Agent  の 操作が必要 Data  Node 800  Node 実⾏行行 Ambari Server   オペレーション指⽰示 Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

25.

クラスタ管理理 クラスタ Agentの⾃自動インストール コンポーネントの追加 Master  Node  /   Application 管理理するコンポーネントが増えた 通常構築は簡単！ Data  Node 800  Node 実⾏行行 Ambari Server   オペレーション指⽰示 Ambari Agent Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

26.

ホスト管理理 プロセス Start/Stop Node  Decommission/Recommission  が可能 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

27.

ホスト管理理 プロセス Start/Stop Node  Decommission/Recommission  が可能 WebUI から複数Node選択して 同時にオペレーションすることが可能 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

28.

ホスト管理理 プロセス Start/Stop Node  Decommission/Recommission   が可能 Nodeを選択するために 正規表現などが使えない 処理理したいノードリストを読み込めない Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

29.

ホスト管理理 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

30.

ホスト管理理 プロセスの操作や必要なファイル操作 をすべてやってくれる Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

31.

ホスト管理理 本当に必要なのか？ と思うオペレーションをしたりする Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

32.

ホスト管理理 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

33.

ホスト管理理 なぜか起動に1000秒近くかかっている Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

34.

ホスト管理理 なぜか起動に1000秒近くかかっている 特定のhdfsディレクトリに chmod –r  をしていた Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

35.

ホスト管理理 なぜか起動に1000秒近くかかっている ソースコードいじってコメントアウト Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

36.

設定管理理 各Service単位での設定管理理 各設定の推奨設定 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

37.

設定管理理 各Service単位での設定管理理 各設定の推奨設定 設定バージョン間の⽐比較することが可能 複数のConfigの管理理が可能 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

38.

設定管理理 各Service単位での設定管理理 各設定の推奨設定 Ambari 上でのConfigのレビューができない バージョンアップ時に設定が増えたりする Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

39.

最近起きた出来事 MoveNameNode で⼤大苦戦 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

40.

MoveNameNode で⼤大苦戦 • クラスタの構築の中でNameNode の筐体を変える必要があった • Ambari の MoveNameNode というオペレーションを使⽤用 • 過去にもやったことがあったので 2台で3-­‐4時間くらいで⾒見見積もってた Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

41.

MoveNameNode で⼤大苦戦 最初はそこそこ順調だった Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

42.

MoveNameNode で⼤大苦戦 こいつをサーバログインして実⾏行行 sudo su hdfs –l  –c  hdfs namenode -­‐bootstrapStandby Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

43.

MoveNameNode で⼤大苦戦 あれ？ Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

44.

MoveNameNode で⼤大苦戦 調べてみると確かに⼊入ってない Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

45.

MoveNameNode で⼤大苦戦 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

46.

MoveNameNode で⼤大苦戦 これが嘘 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

47.

MoveNameNode で⼤大苦戦 これが嘘 ひとまずコマンドが実⾏行行できなくても 先には進めるので試しに進めてみる Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

48.

MoveNameNode で⼤大苦戦 案の定ダメ Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

49.

MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

50.

MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

51.

MoveNameNode で⼤大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

52.

MoveNameNode で⼤大苦戦 切切り替え先のNameNodeがinstallしなおして Bootstrapコマンドを実⾏行行しなおす。 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

53.

MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

54.

MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

55.

MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに！ Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

56.

MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ NameNode が4台という素敵なクラスタに！ 1回⽬目と同じ対応 +  APIでNameNodeを削除 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

57.

MoveNameNode で⼤大苦戦 再現性あるか確かめたいからもう⼀一回 やっぱりだめ 過去にできたオペレーションが Bugによってできなくなる可能性 NameNode が4台という素敵なクラスタに！ 1回⽬目と同じ対応 +  APIでNameNodeを削除 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

58.

最後に WebUI で⾊色々なオペレーションできるのは楽 ツールを使うからこそのデメリットもある 合⾔言葉葉は 「 I  ♥ Ambari 」 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

59.

Appendix Ambariと⼤大規模クラスタと私#yjdsw3 http://www.slideshare.net/techblogyahoo/ambariyjdsw3 Yahoo!  JAPAN  の Ambari 活⽤用事例例 #ambarimeetup http://www.slideshare.net/techblogyahoo/yahoo-‐‑‒japan-‐‑‒ ambari-‐‑‒ambarimeetup Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止

60.

ご清聴ありがとう ございました Copyright  (C)  2015  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止 Copyright  (C)  2016  Yahoo  Japan  Corporation.  All  Rights  Reserved.  無断引⽤用・転載禁⽌止