JAWS-UG Osaka勉強会 第2回 「災害後 活動報告」
>100 Views
April 23, 11
スライド概要
震災後にJAWSUGチームで活動した際にやっとこと、感じたことをまとめました。
関連スライド
各ページのテキスト
JAWS-UG Osaka勉強会 第2回 災害後 活動報告 後藤 和貴 [email protected] 2011.4.23
自己紹介: 後藤 和貴 プロフィール アイレット株式会社 cloudpack 事業部 エバンジェリスト JAWS-UG Tokyoコアメンバー JAWS-UG Osaka メンバー？ 好きなAWSサービス: S3 Blog: http://5net.com/ Email: [email protected] Twitter: @kaz_goto 最近の活動 2月 JAWSUG Osaka 第1回勉強会参加 3月 Cloud Days Tokyo パネルディスカッション登壇 3月 震災後サーバー復旧ボランティア 4月 AWSアドバンストセミナー 2
Amazon EC2 をはじめとするクラウド導入設計、運用・保 守サービス クラウド環境をバックエンドとした 月額費用固定型フルマネージドホスティング AWS導入・構築支援、コンサルティング、システム構築 サービス 2010年4月サービス開始 2011年1月 認定 2011年4月時点 30社・100インスタンス超、さらに増加中 3
続きはウェブで 4
最近の案件相談: 用途別 商品紹介ウェブサイト キャンペーンウェブサイト ウェブサービス提供サイト EC CMS 大規模配信 ソーシャルアプリ・ソーシャルゲーム データストレージ 5
最近の案件相談: 動機別 拡張縮退運転 AWSならではの機能利用 コスト（価格モデル） ライセンスモデル 既存DC/ハードウェアリプレイス 災害対策 6
災害時対応での事例 7
その前に 地震当日の話 8
有楽町某社で 打ち合わせ中地震に遭遇 9
「あ、ゆれ」 10
「結構長いですね」 11
「あれ？かなり... ですね」 12
「うわ、これ結構ですね」 13
「やばいかも」 14
「机の下に入るレベル？」 15
「いや、あ、潜りましょう」 16
「いや、潜れ」 17
「ちょ、まじで、すごい」 18
「やばいやばい」 19
「これはまずい、 ビルやばいかも」 20
「男三人で死ぬのは 嫌だ」(笑無) 21
「あ、やっと収まり ましたな」 22
非常時のサイレン ビル管理室からの アナウンス 23
「すぐに避難してください」(女性) 24
有楽町駅前に出て できるだけ道の真ん中に 25
26
電話通じず、インターネットOK SMS/Facebookで連絡取りまくる 27
28
29
30
31
都内で軽い被災 帰宅後テレビをみて東北の惨状を知る 変なテンション 各サイトがアクセス不能に 「これなんとかできる」「やるしかない」 JAWS-UG / cloudpack チームと連携して対応 32
札幌 !"#$%#& 各サイトがダウンして いる。助けられないか？ 北陸 福岡 仙台 山口 東京 大阪 名古屋 女子部
!"#$%&' ↓' 電話会議' ↓' 各支援プロジェクト始動 やっちゃいましょう！！
35
地震発生後 チームで行った対応 情報発信用CMS導入済みAMI作成 SAVE JAPAN: ミラーサイト作成 (CDN) JustGiving: AWS移行、スケールアップ、負荷分散構成 (DB分離、LB配 置)、メールサーバー移行 buji.me: AWS移行、冗長化構成準備(負荷分散) ゆれくるコール: ストレージサービス組み込み(負荷分散) medica.net: AWS移行 sinsai.info: ミドルウェア負荷調査、スケールアウト構成準備(負荷分 散) 茨城大学: DNSホスト 36
SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ Twitter上の震災情報を正確な情報のやり取りするためのサイト ハッシュタグを使って都道府県別に整理 早い段階で出来た震災情報サイトだったためアクセスが集中 37
SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ 3/12 0:29 38
SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ 3/12 1:15 39
SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ 3/12 1:25 40
SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ Text 3/12 3:00 30分ほどでミラーサイト構築済み 41
SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ ポイント Twitter で拡散されたおかげで対応が必要な事を知り、すぐさま 応援 作業時間わずか30分でCDNへミラーサイトを構築 （S3+CloudFront利用） オリジン サーバー 玉川さんがS3で対策をしていた... 42
Just Giving http://justgiving.jp/ 43
JustGiving Japan http://justgiving.jp/ 3/12 13:41 44
JustGiving Japan http://justgiving.jp/ 3/12 14:10 45
JustGiving Japan http://justgiving.jp/ 3/12 18:50 46
JustGiving Japan http://justgiving.jp/ 3/12 18:53 47
JustGiving Japan http://justgiving.jp/ 3/12 19:13 48
JustGiving Japan http://justgiving.jp/ 3/12 19:16 49
JustGiving Japan http://justgiving.jp/ 12〜13日でAWS移行完了済み DB RDS利用 (db.m2.4xlarge 1台) イメージサーバー (m1.large 1台) ウェブ/アプリサーバー (c1.xlarge 1台) アプリ負荷分散対応 アプリケーション構成が不明なため対応後回し この後AWS負荷対策チームとして参戦 50
13日正午 付近 1. PHP APC化 フロントキャッシュ導入班 2. Apache MaxClients 増加 256 → 600 3. メモリ使用低減のためLoadModule 調整（削減） 4. 画像転送をリバースプロキシ→リダイレクトへ Apache最適化調査班 DB負荷調査班 5. Apache Timeout 120 → 20 6. S3 化トライ、設定困難で別の方法を優先することに 7. c1.xlarge → m2.2xlarge 8. サーバーログインしてトラブルシュート開始 9. Apache disk cache トライ 10. DB調査開始、Slow Query チェック設定 11. DB、QueryCache設定（ぞくぞくと Slow Query みつかる） 12. disk cache のためアプリで Last-Modfied + Expire 追加 13. memcached 導入 14. アプリの一部でキャッシュ開始 15. アクセスの多いリクエスト、パフォーマンスの悪いリクエストにしぼり、いくつかアプリ内キャッ シュ化（10秒以上かかるリクエスト多数有り） 14日0時半 16. （深夜になったこともあり）一旦落ち着いたのでアプリを継続修正依頼して一旦完了 その後、18日までアプリサーバー冗長化調整/DB/メール配信/アプリ負荷改善がつづく... 51
13:22 top - 13:22:34 up 13:57, 10 users, Tasks: 473 total, Cpu(s): 16.3%us, Mem: load average: 91.19, 89.79, 66.40 70 running, 403 sleeping, 7.1%sy, 0.0%ni, 72.7%id, 0 stopped, 0.1%wa, 0.0%hi, 7136220k total, 6683404k used, 452816k free, 0k total, 0k used, 0k free, Swap: PID USER SHR S %CPU %MEM 0 zombie 1.7%si, 201388k buffers 1002020k cached PR NI VIRT RES 9060 apache 20 0 383m 16m 5384 S 29.8 0.2 0:06.13 httpd 8701 apache 20 0 397m 26m 8144 R 23.5 0.4 0:20.02 httpd 9022 apache 20 0 406m 40m 6040 R 23.5 0.6 0:07.74 httpd 8996 apache 20 0 396m 25m 7716 R 20.4 0.4 0:07.21 httpd 8556 apache 20 0 388m 21m 6248 R 18.8 0.3 0:18.46 httpd 8750 apache 20 0 391m 25m 6140 S 18.8 0.4 0:14.28 httpd 8585 apache 20 0 388m 22m 6168 R 17.2 0.3 0:20.89 httpd 8655 apache 20 0 407m 36m 8112 R 17.2 0.5 0:17.60 httpd 8733 apache 20 0 398m 28m 8220 R 17.2 0.4 0:13.14 httpd 8467 apache 20 0 405m 39m 6064 S 15.7 0.6 0:18.56 httpd 8487 apache 20 0 433m 62m 8032 R 15.7 0.9 0:27.72 httpd 8645 apache 20 0 407m 41m 6156 R 15.7 0.6 0:22.01 httpd 8744 apache 20 0 387m 21 52 TIME+ COMMAND 2.1
16:23 (scaleup-ed, but Horiemon-shot attacked) top - 16:23:31 up 1:13, 8 users, load average: 273.91, 166.21, 115.99 Tasks: 704 total, 400 running, 304 sleeping, Cpu(s): 43.7%us, 13.8%sy, Mem: 35133768k total, Swap: PID USER 0.0%ni, 39.1%id, 0 stopped, 0.4%wa, 0.0%hi, 9500728k used, 25633040k free, 0k total, 0k used, 0 zombie 0k free, 2.9%si, 101084k buffers 867780k cached PR NI VIRT RES SHR S %CPU %MEM 4004 apache 20 0 376m 29m 16m R 1.3 0.1 0:09.98 httpd 4018 apache 20 0 391m 40m 13m R 1.3 0.1 0:07.36 httpd 4030 apache 20 0 373m 25m 15m R 1.3 0.1 0:06.82 httpd 4036 apache 20 0 379m 32m 16m R 1.3 0.1 0:08.54 httpd 4043 apache 20 0 372m 24m 15m R 1.3 0.1 0:07.54 httpd 4044 apache 20 0 394m 44m 14m R 1.3 0.1 0:04.96 httpd 4048 apache 20 0 385m 36m 15m R 1.3 0.1 0:07.04 httpd 4062 apache 20 0 391m 41m 13m R 1.3 0.1 0:04.45 httpd 4072 apache 20 0 372m 24m 15m R 1.3 0.1 0:07.69 httpd 4090 apache 20 0 380m 31m 14m R 1.3 0.1 0:05.05 httpd 4108 apache 20 0 374m 25m 15m R 1.3 0.1 0:05.71 httpd 4111 apache 20 0 382m 31m 19m R 1.3 0.1 0:06.02 httpd 4114 apache 20 0 372m 24m 15m R 1.3 0.1 0:04.89 httpd 53 TIME+ COMMAND 0.2%st
JustGiving Japan http://justgiving.jp/ ウェブサーバー スケールアップ c1.xlarge (7GB 20ECU) → m2.2xlarge (34.2GB 13ECU) ミドルウェアチューニング Apache設定見直し（ReverseProxy→Redirect、メモリ使用量削減、起動プ ロセス数調整...） メール配信改善 アプリ改修 HTMLキャッシュ DBアクセス一部キャッシュ化（memcached） ここまでの対策で一旦安定 54
JustGiving Japan http://justgiving.jp/ ポイント スナップショット利用で本番稼働中にテスト環境 作成 調査継続しながら、合間にマシンスケールアップ スケールアップで延命している間にさらに調査 アプリ改修と同感覚でインフラの改善ができる 55
AWS移行 sinsai.info http://sinsai.info/ buji.me http://ww.buji.me/ ゆれくるコール ミドルウェア負荷調査 スケールアウト準備（既存アプリ構成を変更せず対応する方 法の調査） AWS移行 冗長化構成 S3ホスティング for iPhone medica.net http://medica.net/ AWS移行 サーバー構築 DNS切り替え(Route53) 茨城大学 DNS切り替え(Route53) http://www.ibaraki.ac.jp/ 56
災害時対応で感じたAWSのメリット すぐに利用開始 まずは IaaS VMより上は既存概念と同じなので移行がスムース 高負荷への対抗策 S3を始めとする負荷分散を考慮した機能 スケールアップ・スケールアウトの選択肢 強大なパワーを一瞬で手に入れることができる 仮想化・スナップショット 検証環境構築・本番適用・切り戻しが自由自在に可能 57
災害時の対応とクラウドの相性 緊急時の負荷対策 安定的でかつフレキシブルなインフラでなければ、現実的なコスト で対応できない＝パブリッククラウド クラウドと DR データバックアップを複数のロケーションへ 待機系サーバーをOSイメージ保存で停止状態で保管可能 待期系サーバーを別リージョンへ配置可能 （cloudworksなど利用すると簡単） 今後基幹系システムも含め、パブリッククラウド への移行が進んでいくと予想される 58
参考情報 電通国際情報サービス 加藤 章さん著 [TechTargetジャパン] http://techtarget.itmedia.co.jp/tt/news/1103/30/news03.html IIJ 小川 晋平さん著 [ITmedia] http://www.itmedia.co.jp/enterprise/special/0608/disaster/index.html 59
副産物 S3 を複数の EC2 で mount して負荷分散 構成（s3fs利用） Sticky Session with ELB の検証 60
Thank You!