第5回JAWS-UG札幌勉強会 cloudpack監視システムについて

2012.2.14 第5回JAWS-UG札幌 勉強会 cloudpack監視システムについて 後藤 和貴 @kaz_goto facebook.com/kaz.goto

自己紹介 プロフィール アイレット株式会社 cloudpack エバンジェリスト 出没するJAWS-UG: 東京、大阪、福岡、宮崎、 鹿児島、沖縄、名古屋、札幌、北陸 次に行きたいJAWS-UG: 京都、四国のどっか 受賞歴: AWS SAMURAI 2012(個人) 2011年度パートナー特別賞(会社) 好きなAWSサービス: プレミアムサポート 3 @kaz_goto facebook.com/kaz.goto

4

5

続きはウェブで amazon  EC2  運⽤用保守 6

cloudpack監視サービスとは 7

300に迫るサーバー群を監視する cloudpack監視サービスの裏側見せちゃいます 1. 監視サービス概要 2. 実装方法（基本構成） 3. 独自の追加機能 4. ノウハウ 5. 今後やりたいこと 8

監視サービス概要 9

監視サービス概要 Nagios 各リージョン毎に一括管理 監視サーバー(cloudpack) 監視対象サーバー(各アカウント) 10

実装方法（基本構成） 各リージョンのNagios同士は相互監視 エージェント 導入可能な場合は入れて、多くのポイント監視 導入不可の場合は、外部から確認可能なポイントのみ監視 URL監視以外は基本的に内部IPで確認 cloudpackのセキュリティグループからのアクセス 許可 個別アカウントのセキュリティグループでポート追加などは しない 11

独自の追加機能 メール関係 メール送信はAWS SDK for PHPでSES利用 ただ使ってみたかったｗ アラート内容毎にテンプレートをわける アカウント毎の連絡先・対応方法など付記

13

サーバー名・IPアドレス 顧客名 連絡メールアドレス 担当者名＋電話番号 14

独自の追加機能 プラグイン・カスタマイズ ログ監視 • syslog系 • PostgreSQL • Tomcat • アプリケーションログ（キーワードのキャッチ） 15

独自の追加機能 プラグイン・カスタマイズ S3 • URL監視 • バケットサイズチェック ※ AWS SDK for PHPではS3サイズチェック関数があった（他のSDKではないらしい） ※ 参考: get̲bucket̲filesize関数 http://docs.amazonwebservices.com/AWSSDKforPHP/latest/#m=AmazonS3/ get̲bucket̲filesize 16

• http://docs.amazonwebservices.com/AWSSDKforPHP/latest/#m=AmazonS3/get_bucket_filesize

独自の追加機能 プラグイン・カスタマイズ CloudWatch連携(check̲cloudwatch) • • • • EC2 → CPU使用率 RDS → メモリ、ディスク、コネクション数、swap... Tomcat アプリケーションログ（キーワードのキャッチ） ※ 参考: • CloudWatchのCustom Metricsを使ってみた(二番煎じ) http://d.hatena.ne.jp/j3tm0t0/20110517/1305651359 • NagiosとCloudWatchを組み合わせてみた http://blog.cloudpack.jp/2011/05/aws-news-nagios-cloudwatchcombination.html 17

• http://d.hatena.ne.jp/j3tm0t0/20110517/1305651359
• http://blog.cloudpack.jp/2011/05/aws-news-nagios-cloudwatch-combination.html

独自の追加機能 プラグイン・カスタマイズ DNS関係 • ホスト名とIPアドレスの変化チェック • RDSフェールオーバーもチェック ※ RDSフェールオーバーは意外と問題になるケースがあります 例: ゾーンまたぐとアプリサーバーとの間のレイテンシが大きくなる 18

ノウハウ？ 数値監視なものはすべてCloudWatchのメトリクスに して監視システム全体の信頼性を上げる 個別対応時のプログラム実装上のミスを防ぐ CloudWatchアラーム使わずNagiosでアラート 英語メッセージ＝ヒューマンエラーの可能性 連絡先・対応方法をのせた日本語のメッセージ バッチ処理正常終了監視 キュー処理開始・終了時刻の確認 および一定時間で処理している数をチェックして正常動作確認 19

今後やりたいこと PHP SDKでSES利用からSMTPリレー(Postfix)→SESに変更 信頼性アップ＆パフォーマンスアップ データ転送量チェック cloudpackのサービスモデルとしては必須 ELBレイテンシチェック ウェブサイト全体が重たくなっているとレイテンシが大きくなるので傾向をつか みやすい VPC内サブネットavailable IPs ELBがスケールアウト時にIPを消費されるので観測したい CloudFront動画再生ログチェック どれだけ動画を見られているか、動画再生箇所（開始・終了時間） 20

失敗談 AWS側の局所的なトラブルでCloudFront URL 監視で検知失敗したことあり 同一URL複数のアクセス元でアクセス可・不可がタイミ ングによって分かれた RDSセキュリティグループ指定のUIが変更にな り、他アカウントのセキュリティグループが選 べなくなった セットアップが一切できなくなったのでプレミアムサ ポートへ連絡したら、あとで直ったｗ 21

まとめ オープンソースの監視システムでも十分に使えます CloudWatchにないものや、個別に必要な機能はプラグ インをさくっと書いちゃましょう 監視だけじゃなく、その後の対応も考慮しておくと ヒューマンエラーもでなくてより安心 AWSの挙動（仕様）もモニタリングすれば安心 → 面倒な方はcloudpackで監視サービスを！ 監視のみ監視職人もありますｗ http://www.cloudpack.jp/spin-off/monitoring.html 22

• http://www.cloudpack.jp/spin-off/monitoring.html

告知 イベント 2/28,29 日経BP Cloud Days Tokyo 2012出展 3/8,9 日経BP Cloud Days Tokyo 2012出展 3/2,3 JAWS Summit Nagiosカスタマイズ 3月中 cloudpack Night #2 したい人集まれ！ 情報発信 http://www.cloudpack.jp/ @cloudpack̲jp http://facebook.com/cloudpack.jp 人材募集中 23

• http://www.cloudpack.jp/
• http://facebook.com/cloudpack.jp

Thanks! http://www.cloudpack.jp/ [email protected] @cloudpack_jp 24

• http://www.cloudpack.jp