第5回JAWS-UG大阪勉強会 cloudpack監視システムについて

2012.2.18 第5回JAWS-UG大阪 勉強会 cloudpack監視システムについて 後藤 和貴 @kaz_goto facebook.com/kaz.goto

自己紹介 プロフィール アイレット株式会社 cloudpack エバンジェリスト 出没するJAWS-UG: 東京、大阪、福岡、宮崎、 鹿児島、沖縄、名古屋、札幌、北陸 次に行きたいJAWS-UG: 京都、四国のどっか 好きなAWSサービス: プレミアムサポート 好きなオーディエンス: 大阪ｗ 職歴 データベースベンダー(Oracle) → ウェブ制作会社(bA) → IT・サイエンス系ニュースサイト運営(WIRED VISION) → フリーのテクニカルディレクター → クラウド大好き(cloudpack) 2 @kaz_goto facebook.com/kaz.goto

お礼 3

第4回JAWS-UG大阪 ≒ cloudpack 無双！！ 今回もよろしくお願いします。 4

祝 1 5

6

祝 2 7

#安産なう 8

9

祝 3 10

成人 11

12

皆さん おめでとうございます！ 13

AWSの足りない部分を補完した 月額費用固定型フルマネージドホスティング 時間365日サーバー運用・保守 電話/メールによるサポート 初期費用なし(移行作業含む) 月額5万円からのスタート 日本円で請求書発行 未成年の方、クレジットカードをもってない方も安心

15

16

続きはウェブで amazon  EC2  運⽤用保守 17

ステマ 感想の書き方テンプレート 「わぁ、本当に #cloudpackってすごいですね #jawsug 大阪」 「○○つかってるんだ、なるほど #cloudpack #jawsug 大阪」 「○○さん、ステキですね。 #cloudpack #jawsug 大阪」 「ウケルｗ #cloudpack #jawsug 大阪」 「橋下頑張れ！ #cloudpack #jawsug 大阪」 18

本題 19

フルマネージド サービス/リソース監視 ディスク使用量、メモリ使用量、プロセス数、 Webサーバー・DBサーバー死活... バックアップ/リストア EBSスナップショットを利用した二世代（過去二 日分）バックアップ アクセス制御(ファイアーウォール) 適切なセキュリティグループを設定、OS・ミドル ウェアレベルでさらに細かな設定も対応可能

cloudpack監視サービスとは 21

300に迫るサーバー群を監視する cloudpack監視サービスの裏側見せちゃいます 1. 監視サービス概要 2. 実装方法（基本構成） 3. 独自の追加機能 4. ノウハウ 5. 今後やりたいこと 22

監視サービス概要 23

監視サービス概要 Nagios 各リージョン毎に一括管理 監視サーバー(cloudpack) 監視対象サーバー(各アカウント) 24

実装方法（基本構成） 各リージョンのNagios同士は相互監視 エージェント 導入可能な場合は入れて、多くのポイント監視 導入不可の場合は、外部から確認可能なポイントのみ監視 URL監視以外は基本的に内部IPで確認 cloudpackのセキュリティグループからのアクセス 許可 個別アカウントのセキュリティグループでポート追加などは しない 25

独自の追加機能 プラグイン・カスタマイズ ログ監視 • syslog系 • PostgreSQL • Tomcat • アプリケーションログ（キーワードのキャッチ） 26

独自の追加機能 プラグイン・カスタマイズ S3 • URL監視 • バケットサイズチェック ※ AWS SDK for PHPではS3サイズチェック関数があった（他のSDKではないらしい） ※ 参考: get̲bucket̲filesize関数 http://docs.amazonwebservices.com/AWSSDKforPHP/latest/#m=AmazonS3/ get̲bucket̲filesize 27

• http://docs.amazonwebservices.com/AWSSDKforPHP/latest/#m=AmazonS3/get_bucket_filesize

独自の追加機能 プラグイン・カスタマイズ CloudWatch連携(check̲cloudwatch) • • • • EC2 → CPU使用率 RDS → メモリ、ディスク、コネクション数、swap... Tomcat アプリケーションログ（キーワードのキャッチ） ※ 参考: • CloudWatchのCustom Metricsを使ってみた(二番煎じ) http://d.hatena.ne.jp/j3tm0t0/20110517/1305651359 • NagiosとCloudWatchを組み合わせてみた http://blog.cloudpack.jp/2011/05/aws-news-nagios-cloudwatchcombination.html 28

• http://d.hatena.ne.jp/j3tm0t0/20110517/1305651359
• http://blog.cloudpack.jp/2011/05/aws-news-nagios-cloudwatch-combination.html

独自の追加機能 プラグイン・カスタマイズ DNS関係 • ホスト名とIPアドレスの変化チェック • RDSフェールオーバーもチェック ※ RDSフェールオーバーは意外と問題になるケースがあります 例: ゾーンまたぐとアプリサーバーとの間のレイテンシが大きくなる 29

独自の追加機能 メール関係 メール送信はAWS SDK for PHPでSES利用 ただ使ってみたかったｗ アラート内容毎にテンプレートをわける アカウント毎の連絡先・対応方法など付記

31

サーバー名・IPアドレス 顧客名 連絡メールアドレス 担当者名＋電話番号 32

ノウハウ？ 可能なものはすべてCloudWatchのメトリクスにして 監視システム全体の信頼性を上げる 個別対応時のプログラム実装上のミスを防ぐ CloudWatchアラーム使わずNagiosでアラート 英語メッセージ＝ヒューマンエラーの可能性 連絡先・対応方法をのせた日本語のメッセージ バッチ処理正常終了監視 キュー処理開始・終了時刻の確認 および一定時間で処理している数をチェックして正常動作確認 33

今後やりたいこと PHP SDKでSES利用からSMTPリレー(Postfix)→SESに変更 信頼性アップ＆パフォーマンスアップ データ転送量チェック cloudpackのサービスモデルとしては必須 ELBレイテンシチェック ウェブサイト全体が重たくなっているとレイテンシが大きくなるので傾向をつか みやすい VPC内サブネットavailable IPs ELBがスケールアウト時にIPを消費されるので観測したい CloudFront動画再生ログチェック どれだけ動画を見られているか、動画再生箇所（開始・終了時間） 34

失敗談 AWS側の局所的なトラブルでCloudFront URL 監視で検知失敗したことあり 同一URL複数のアクセス元でアクセス可・不可がタイミ ングによって分かれた RDSセキュリティグループ指定のUIが変更にな り、他アカウントのセキュリティグループが選 べなくなった セットアップが一切できなくなったのでプレミアムサ ポートへ連絡したら、あとで直ったｗ 35

まとめ オープンソースの監視システムでも十分に使えます CloudWatchにないものや、個別に必要な機能はプラグ インをさくっと書いちゃましょう 監視だけじゃなく、その後の対応も考慮しておくと ヒューマンエラーもでなくてより安心 AWSの挙動（仕様）もモニタリングすれば安心 → 面倒な方はcloudpackで監視サービスを！ 監視のみ監視職人もありますｗ http://www.cloudpack.jp/spin-off/monitoring.html 36

• http://www.cloudpack.jp/spin-off/monitoring.html

告知 イベント 2/28,29 日経BP Cloud Days Tokyo 2012出展 3/8,9 日経BP Cloud Days Tokyo 2012出展 3/2,3 JAWS Summit 3月中 cloudpack Night #2 情報発信 http://www.cloudpack.jp/ @cloudpack̲jp http://facebook.com/cloudpack.jp 人材募集中 37 Nagiosカスタマイズ したい人集まれ！

• http://www.cloudpack.jp/
• http://facebook.com/cloudpack.jp

最後に 38

応援感謝 プレゼント！ @j_nakada 中田さん @letkun 山崎さん @u_matumoto 松本さん @AP2_SHIN 田代さん 39

Thanks! http://www.cloudpack.jp/ [email protected] @cloudpack_jp 40

• http://www.cloudpack.jp