AmbariでStreamをデプロイ #ambarimeetup

AmbariでStreamをデプロイ (stormです) ヤフー株式会社 データプラットフォーム本部開発１部 川畑 勝次 2016年04月28日

自己紹介 氏名 川畑 勝次 業務 データ処理基盤開発（インフラ担当） Ambari歴：6ヶ月ぐらい ひとこと 子供2人に振り回されてます Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2

Why Ambari ? Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3

Why Ambari ? 初心者でも簡単に構築 サーバを用意すればマニュアルをみながら簡単に環境が用意できるので 開発・検証の工程により早く入れる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 4

Why Ambari ? 今後の成長に期待 継続的にcommitされているので改善が期待できる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 5

デプロイについて Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6

デプロイの流れ System info ① Ambari deploy account ② storm deploy Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7

ポイント Silent setup /usr/sbin/ambari-server setup XXX --silent Ambari API curl --user { user name }:{ password } -i -X POST http://{ ambari server}:8080/api/v1/clusters/{ cluster name }/hosts/{ host name } ※クラスタにサーバの追加ができる Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8

悩ましいところ • ジョブ投入サーバや運用サーバの構築は別手段で ※rpmだけインストールするような機能はないため別途デプロイツールで対応 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9

悩ましいところ • 設定ファイルの管理が・・・ ＜ ※設定ファイル（ storm.yaml ）の差分確認などはGitで行いたいが直接置き換えができない アプリケーションなどの設定ファイルはGitになるので、システム全体の設定ファイルを一元的に管理できない Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 10

システム構成 ※AmbariはStormプロセスの起動・停止やクラスタへのサーバ追加に利用し監視や可視化は別コンポーネントを利用 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 11

Appendix Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 12

デプロイの流れ account ① Ambari deploy System info ② storm deploy Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 13

Ansible inventory + task list Inventory Task list [storm-nimbus] nimbus00[1:2] playbook: playbooks/ambari-server.yml [storm-ui] stormmanager001 [storm-supervisor] supervisor00[1:5] [zookeeper] zookeeper00[1:3] [ambari-server] ambari001 [ambari-database] ambari001 [ambari-metrics] ambarimetrics001 [jobkick] jobkick00[1:2] [ambari-agent:children] ambari-metrics storm-nimbus storm-ui-drcp storm-supervisor zookeeper play #1 (ambari-server): TAGS: [] JAVAのインストール TAGS: [] mysqlパッケージをインストール TAGS: [] mysqlの存在確認 TAGS: [] mysqlのデータベース設定 TAGS: [] mysqlのアカウント設定 TAGS: [] ambari.repoの取得 TAGS: [] ambari-serverパッケージをインストール TAGS: [] mysqlの存在確認 TAGS: [] ambari-serverの設定確認 TAGS: [] ambari-serverのsetup TAGS: [] 既 ambari-serverにLDAP設定を確認 TAGS: [] ambari-serverにLDAP設定を追加 TAGS: [] ambari-serverのsetup TAGS: [] ambari-serverプロセス確認 TAGS: [] ambari-serverの起動 TAGS: [] playbook: playbooks/ambari-agent.yml play #1 (ambari-agent): TAGS: [] JAVAのインストール TAGS: [] ambari.repoの取得 TAGS: [] ambari-agentに必要なパッケージをインストール TAGS: [] rrdtoolの削除 TAGS: [] ambari-agent.iniファイルにambari-serverのホスト名を記述 TAGS: [] ambari-agentが起動しているかチェック TAGS: [] HugePageの無効化 TAGS: [] Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 14

デプロイの流れ account ① Ambari deploy System info http://Ambari001:8080/#/login ② storm deploy Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 15

Ambari Cluster Setting ※不要なStepは省いてます Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 16

Ambari Cluster Setting zookeeper001 zookeeper002 zookeeper003 nimbus001 nimbus002 stormmanager001 stormmanager001 ambarimetrics001 ※不要なStepは省いてます Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 17

Ambari Cluster Setting ambarimetrics001 stormmanager001 nimbus001 nimbus002 supervisor001 supervisor002 supervisor003 supervisor004 supervisor005 zookeeper001 zookeeper002 zookeeper003 ※不要なStepは省いてます Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 18

Ambari Cluster Setting Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 19

Link Ambari manual http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Installing_HDP_AMB/content/ch_Installing_Ambari.html Ambari Repositories http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Installing_HDP_AMB/content/_download_the_ambari_repo.html Ambari API https://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/index.md Blueprints https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_ambari_reference_guide/content/ch_using_ambari_blueprints.html Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 20

• http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Installing_HDP_AMB/content/ch_Installing_Ambari.html
• http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_Installing_HDP_AMB/content/_download_the_ambari_repo.html
• https://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/index.md
• https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.1/bk_ambari_reference_guide/content/ch_using_ambari_blueprints.html