Ambariと大規模クラスタと私#yjdsw3

Ambariと大規模クラスタと私 ヤフー株式会社 データ&サイエンスソリューション本部 データインフラ本部 開発2部 グリッド 深澤 開 2015年11月24日 http://www.yahoo.co.jp/

• http://www.yahoo.co.jp/

自己紹介 氏名 深澤 開 (2013年度新卒) 業務 Hadoopクラスタの設計・構築・運用 データセンター内ネットワークの構築 最近ハマっていること ボルダリング Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2

Ambariとは Hadoopの構築・管理・運用を 簡単にする100%オープンソースのツール https://ambari.apache.org/ Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3

• https://ambari.apache.org/

Yahoo! JAPAN での Ambari の活用 本番 Cluster1 3PB (2011/06) Cluster2 20PB (2013/01) Cluster3 30PB (2014/4) Cluster4 58PB (2015/12) このほかにユーザ開発用のクラスタや検証目的のクラスタでも利用 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 4

これまでのAmbari検証 2015/03 2015/05 2015/07 2015/10 2015/11 • ver 1.7.0 • ver 2.0.0 • ver 2.1.0 • ver 2.1.1 • ver 2.1.2 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 5

これまでのAmbari検証 2015/03 1000台デプロイ問題 2015/05 2015/07 2015/10 2015/11 • ver 1.7.0 • ver 2.0.0 • ver 2.1.2 • ver 2.1.0 • ver 2.1.1 WebUI 激重問題 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6

1000台 デプロイ問題 現象 ・同時に1000台追加できない ・台数が多くなると Ambari agent と通信ができない 原因 ・DB のデッドロック (AMBARI-11744) ・AmbariSever が全台と通信することによる コネクション数の限界 対応 ・100台ずつ追加 ・arp queue の設定値の引き上げ Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7

1000台 デプロイ問題 現象 ・同時に1000台追加できない ・台数が多くなると Ambari agent と通信ができない 原因 ・DB のデッドロック (AMBARI-11744) Ambari自身にも大規模クラスタと ・AmbariSever が全台と通信することによる 同様の設定が必要！ コネクション数の限界 対応 ・100台ずつ追加 ・arp queue の設定値の引き上げ Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8

WebUI 激重問題 現象 ・Ambari 2.1.0 にアップグレード後 WebUI が極端に重くなる ※ただし MacBookPro/ブラウザ非依存 除く 原因 対応 ・Web UI 内のいくつかのfunctionが遅かった (AMBARI-12300 AMBARI-12313) ・パッチを適用 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9

WebUI 激重問題 現象 ・Ambari 2.1.0 にアップグレード後 WebUI が極端に重くなる ※ただし MacBookPro/ブラウザ非依存 除く 原因 対応 規模が大きいので改めて ・Web UI 内のいくつかのfunctionが遅かった (AMBARI-12300 AMBARI-12313) 機能検証が必要！ ・パッチを適用 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 10

その他にも色々 現象 対応 台数が増えるとWebUI が重くなる Heap を設定 (100/1GB 目安) クラスタ構築時にDBに 関係するエラー Ambari側のコネクションプーリングの 設定をDBのTimeout値より短くする 12438 Ambari UpgradeによるDBの スキーマ変更時にエラー DBをいじって修正 12145 RollingUpgrade が遅い Ambari の RollingUpgrade 機能を使わずに Upgrade 6646 JournalNode が4台以上 設定できない API でのワークアラウンドで回避 7748 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 JIRA 11

その他にも色々 現象 対応 台数が増えるとWebUI が重くなる Heap を設定 (100/1GB 目安) クラスタ構築時にDBに Ambari側のコネクションプーリングの 新バージョンのリリース後 関係するエラー 設定をDBのTimeout値より短くする すぐに検証を行っているため Ambari UpgradeによるDBの DBをいじって修正 スキーマ変更時にエラー それなりにbug踏んでます。 JIRA 12438 12145 RollingUpgrade が遅い Ambari の RollingUpgrade 機能を使わずに Upgrade 6646 JournalNode が4台以上 設定できない API でのワークアラウンドで回避 7748 Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 12

最後に Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 13

メッセージ Apache Ambari プロジェクトリードの左居です。 AmbariはOpen Sourceですので皆様による貢献 からなりたっています。日本の開発者そして ユーザーのみなさん、一緒にAmbariを最強の Hadoopクラスタ管理プラットーフォーム にしていきましょう！ バグレポート、 使い方に関する質問・回答、新機能のリクエスト、 コードのパッチ、デザインフィードバック、 ドキュメンテーションなど、貢献方法は様々ですので、 よろしくお願いいたします！ ご質問などございましたら [email protected] にメールをお願いします。 Project Website: http://ambari.apache.org Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 14

• http://ambari.apache.org/

ご清聴ありがとうございました ご質問などありましたら個別にお声がけください！ Copyright (C) 2015 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 15