Yahoo! JAPAN の Ambari 活用事例 #yjdsnight

>100 Views

June 02, 16

#yjdsnight #Ambari #Hadoop #クラスタ管理 #NameNode #トラブルシューティング

スライド概要

Yahoo! JAPAN の Ambari 活用事例 #yjdsnight

profile-image
スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

slide-thumbnail

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
user-img Yahoo!デベロッパーネットワーク 159.9K
slide-thumbnail

ゼロから始める転移学習
user-img Yahoo!デベロッパーネットワーク 85.4K
slide-thumbnail

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon
idcon fidcon
user-img Yahoo!デベロッパーネットワーク 72.6K
slide-thumbnail

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo
openid openid_tokyo
user-img Yahoo!デベロッパーネットワーク 57.4K
slide-thumbnail

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤
devsumi
user-img Yahoo!デベロッパーネットワーク 34.8K
slide-thumbnail

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes
ml_kubernetes
user-img Yahoo!デベロッパーネットワーク 28.9K
各ページのテキスト
1.

Yahoo! JAPAN の Ambari 活用事例 ヤフー株式会社 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部グリッド 深澤 開 2016年04月28日 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

2.

自己紹介 氏名 深澤 開 (2013年度新卒) 業務 Hadoopクラスタの設計・構築・運用 データセンター内ネットワークの構築 Ambari 歴 1年と1ヶ月くらい 趣味・興味 テニス・ボルダリング・ダーツ(最近はじめた) Splatoon (妻の方が上手) Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

3.

私の Ambari 歴 2015/03 2015/05 2015/07 2015/10 2015/11 2016/02 • v1.7.0 • v2.0.0 • v2.1.0 • v2.1.1 • v2.1.2 • v2.2.0.0 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

4.

アジェンダ • Ambari 概要 (Yahoo! JAPAN の事例を添えて) • 最近の出来事 • Config 書き換わり問題 • MoveNameNode で大苦戦 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

5.

Ambari 概要 Hadoopの構築・管理・運用を 簡単にする100%オープンソースのツール https://ambari.apache.org/ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

6.

Ambari 概要 クラスタ管理 監視・通知 ホスト管理 設定管理 View Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

7.

Ambari 概要 クラスタ管理 監視・通知 ホスト管理 設定管理 View Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

8.

Ambari 概要 クラスタ管理 監視・通知 ホスト管理 設定管理 View Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

9.

Ambari 概要 クラスタ管理 ホスト管理 • Ambari 自体のHAが できていない • 台数が多いため負荷が高い • カスタマイズ性が物足りない 設定管理 監視・通知 View Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

10.

Ambari 概要 クラスタ管理 監視・通知 ホスト管理 設定管理 View • 開発者向けの機能のため 使用は見送り Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

11.

クラスタ管理 初期構築 Agent を入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

12.

クラスタ管理 初期構築 Agent を入れたサーバからコンポーネントを コンポーネントごとの アサインしたいサーバをポチポチ選ぶだけ パッケージ管理/インストール をしなくていいので楽 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

13.

クラスタ管理 初期構築 Agent を入れたサーバからコンポーネントを アサインしたいサーバをポチポチ選ぶだけ Agent の管理が必要 ※ 詳しくは LT で Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

14.

クラスタ管理 ダッシュボード Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

15.

ホスト管理 プロセス Start/Stop Node Decommission/Recommission が可能 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

16.

ホスト管理 プロセス Start/Stop Node Decommission/Recommission が可能 WebUI から複数Node選択して 同時にオペレーションすることが可能 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

17.

ホスト管理 プロセス Start/Stop Node Decommission/Recommission が可能 Nodeを選択するために 正規表現などが使えない 処理したいノードリストを読み込めない Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

18.

設定管理 各Service単位での設定管理 各設定の推奨設定 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

19.

設定管理 各Service単位での設定管理 各設定の推奨設定 設定バージョンの比較することが可能 複数のConfigの管理が可能 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

20.

設定管理 各Service単位での設定管理 各設定の推奨設定 Ambari 上でのConfigの 事前レビューができない バージョンアップ時に設定が増えたりする Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

21.

Yahoo! JAPAN での Ambari 活用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster3 30PB (2014/4) Cluster4 58PB (2015/12) Cluster5 90PB (2016/06) ※ 構築中 このほかにユーザ開発用のクラスタや検証目的のクラスタでも利用 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

22.

Yahoo! JAPAN での Ambari 活用 本番 Cluster1 3PB (2011/06) • Cluster2 Cluster3 2クラスタで 20PB 30PB Ambari を用いて運用 (2013/01) (2014/4) Cluster4 58PB (2015/12) Cluster5 90PB (2016/06) ※ 構築中 このほかにユーザ開発用のクラスタや検証目的のクラスタでも利用 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

23.

最近起きた出来事 Config の書き換わり問題 MoveNameNode で大苦戦 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

24.

最近起きた出来事 Config の書き換わり問題 MoveNameNode で大苦戦 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

25.

最近起きた出来事 • Ambari の Upgrade した後や Node を追加したら Config の Version が何故か上がってる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

26.

最近起きた出来事 • Ambari の Upgrade した後や Node を追加したら Config の が何故か上がってる AmbariVersion のバージョンが上がったことで 設定できる項目が増えたため Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

27.

最近起きた出来事 • Ambari の Upgrade した後や Node を追加したら Config の Version が何故か上がってる 単純にBug Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

28.

最近起きた出来事 • Ambari の Upgrade した後や プロセスを再起動 Node を追加したら Config の 設定をロールバック Version が何故か上がってる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

29.

最近起きた出来事 • Ambari の Upgrade した後や ツールによってコンフィグが Node を追加したら Config の 勝手に書き換わる可能性 Version が何故か上がってる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

30.

最近起きた出来事 Config の書き換わり問題 MoveNameNode で大苦戦 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

31.

MoveNameNode で大苦戦 • クラスタの構築の中でNameNode の筐体を変える必要があった • Ambari の MoveNameNode というオペレーションを使用 • 過去にもやったことがあったので 2台で3-4時間くらいで見積もってた Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

32.

MoveNameNode で大苦戦 最初はそこそこ順調だった Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

33.

MoveNameNode で大苦戦 こいつをサーバログインして実行 sudo su hdfs –l –c hdfs namenode -bootstrapStandby Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

34.

MoveNameNode で大苦戦 なしてっ!?Σ(゜ω゜； Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

35.

MoveNameNode で大苦戦 調べてみると確かに入ってない Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

36.

MoveNameNode で大苦戦 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

37.

MoveNameNode で大苦戦 これが嘘 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

38.

MoveNameNode で大苦戦 これが嘘 ひとまずコマンドが実行できなくても 先には進めるので試しに進めてみる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

39.

MoveNameNode で大苦戦 案の定ダメ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

40.

MoveNameNode で大苦戦 オペレーションウィザードをそっとじ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

41.

MoveNameNode で大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

42.

MoveNameNode で大苦戦 オペレーションウィザードをそっとじ NameNode が3台になる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

43.

MoveNameNode で大苦戦 切り替え先のNameNodeがinstallしなおして Bootstrapコマンドを実行しなおす。 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

44.

MoveNameNode で大苦戦 再現性あるか確かめたいからもう一回 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

45.

MoveNameNode で大苦戦 再現性あるか確かめたいからもう一回 やっぱりだめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

46.

MoveNameNode で大苦戦 再現性あるか確かめたいからもう一回 やっぱりだめ NameNode が4台という素敵なクラスタに！ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

47.

MoveNameNode で大苦戦 再現性あるか確かめたいからもう一回 やっぱりだめ NameNode が4台という素敵なクラスタに！ 1回目と同じ対応 + APIでNameNodeを削除 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

48.

MoveNameNode で大苦戦 再現性あるか確かめたいからもう一回 やっぱりだめ 過去にできたオペレーションが Bugによってできなくなる可能性 NameNode が4台という素敵なクラスタに！ 1回目と同じ対応 + APIでNameNodeを削除 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

49.

感想みたいなもの WebUI で色々なオペレーションできるのは楽 ツールを使うからこそのデメリットもある 合言葉は「 I ♥ Ambari 」 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

50.

Appendix Ambariと大規模クラスタと私#yjdsw3 http://www.slideshare.net/techblogyahoo/ambariyjdsw3 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

51.

ご清聴ありがとう ございました Copyright (C) 2015 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止