cloudpack的 AWS徹底活用によるビッグデータ攻略術

366 Views

September 28, 15

スライド概要

2015.9.28にAWS大阪で行われた「ビッグデータ & IoT “まるごと” お任せセミナー」で話したインフラ目線でのビッグデータ基盤攻略ネタ(事例中心)です。AWS、クニエ、cloudpackの3社で講演しました。

profile-image

アイレット株式会社 (cloudpack) エバンジェリスト / 公正取引委員会 デジタルアナリスト

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

2015.9.28 ビッグデータ & IoT “まるごと” お任せセミナー cloudpack的 AWS徹底活用によるビッグデータ攻略術 アイレット株式会社

2.

執行役員 / エバンジェリスト 後藤 和貴 @kaz_goto

3.

☁ cloudpack事業 執行役員 • エバンジェリスト • マーケティング担当(PR、ウェブ…) ☁ バックグラウンド 執行役員 / エバンジェリスト 後藤 和貴 @kaz_goto • Oracle カスタマーサポート→開発 • ビジネス・アーキテクツ • テクニカルディレクター(フリーランス)

4.

アイレット株式会社 設立 2003年10月15日 資本金 7,000万円 代表者 齋藤 将平 従業員数 100名(2015年9月現在) 事業内容 システム開発・保守 マネジドホスティング

6.

AWSを活用しながらビジネスに集中できる コンシェルジュサービス

7.

cloudpackビジネス 設計支援 コンサル MSP 運用保守 システム 開発

8.

24時間365日 監視運用保守 企業 定額課金/ 請求書払い Pマーク、ISMS、PCI DSS取得済みの運用体制 AWS

9.

プレミアコンサルティングパートナー 全世界2222社中 アジア地域 4 社 最上位パートナー Premier > Advanced > Standard > Registered 3年連続は2社のみ

10.

5年間AWSのみで運用保守 4社 5年間 500 800 プロジェクト超 社超

11.

ワンストップでシステム開発から運用保守まで

12.

企業規模別 cloudpack利用比率 36 % 中小企業 27 % 中堅企業 37 % 大企業

13.

cloudpackの主な利用状況 Web系 91 % うち33%が ソーシャルゲームや メディアサイト

15.

クラウド 導入事例 100 (※) ※ 2015年6月時点

16.

cloudpack事例

17.

confidential クライアント 株式会社ユニクロ 制作 株式会社マウント

18.

confidential お題「絶対に落とさないこと」

19.

confidential

20.

confidential 担当者「え?CM打ったらどれだけアクセスくるか…」

21.

confidential キャンペーン期間外 サーバー性能強化 台数も増加 アクセス状態を見て 途中でスペックダウン 結果発表のため 静的なコンテンツのみ キャンペーン期間中

22.

confidential ポイント キャンペーン開始時に絶対に落ちない構成 • • 一時的に最強スペックにすることも可能 冗長構成が取られていればサイトを停止せずに増強も キャンペーンが終われば最小構成に変更可能 • 不要なサーバーは状態をそのまま保存して、 次回面倒な構築無しにそのまま利用可能

23.

confidential クライアント サントリー 制作 TYO/ID

24.

confidential お題「1日だけネット上でフェスするけど」

25.

confidential

26.

confidential 担当者「え?1日のためにサーバー購入するの?」

27.

confidential フェス開催中 平常時 フェス開始 ウェブサーバー サーバー台数 増やすのは 1台数分レベル フェス終了 サーバー台数 減らすのは一瞬 データベース データベース 冗長構成 (片方落ちても大丈夫) 30台 構成 フェス当日だけ 1台→ 1日分=8万円だけ 費用は 通常約240万円/月のところ

28.

confidential ポイント ライブのようなアクセスにも耐えうる構成も実現 可能 • • • 事前にサーバー調達が不要、時期が来たら増やすだけ わずか数日分のコストだけ追加になる 事前テストも容易にできる サーバーをコピーし利用する • フェス時に各サーバーを1から構築するのは不要となるため、 構築作業を大幅に減らせる

29.

confidential クライアント トヨタ自動車 トヨタメディアサービス

30.

トヨタ公式ウェブサイト ☁ 月間1億PV 45億ヒット、 新車発表時3倍のアクセス ☁すべてのサイトで複数サーバー 開発環境なども含め、 計100台以上 ☁東京リージョン障害時に シンガポールで復旧可能 toyota.jp lexus.jp www.toyota.co.jp m.toyota.jp www.toyota-global.com s-api.etoyota.net etoyota.net

31.

別ロケーションでの復旧 ☁ 災害時シンガポールにほぼ自動的に環境構築 ☁ テンプレート(レシピ)から一発で構築可能 CloudForma*on, Template, Tokyo Region Stack, Singapore Region

32.

ハイレベルなセキュリティ基準 ☁ AWSで国内初のPCI-DSS Level1環境の構築の実績 • PCI-DSSとは • PCI DSS (Payment Card Industry Data Security Standard) は国際カードブランド5 社(Visa、MasterCard、JCB、American Express、Discover) が共同で設立したPCI SSC(Payment Card Industry Security Standard Council)によって策定されたグロー バルセキュリティ基準。 • 世界のクレジットカード会社が求める プレスリリース(http://www.cloudpack.jp/press/20130308.html) セキュリティ実装のスタンダード

33.

confidential Coiney 既存サイトをPCI DSS Level1に準拠させる為、 cloudpackはインフラ構築・セキュリティ面でのコンサルティングを担当

34.

実践的セキュリティ対策 アプリケーション ☁ ユーザー責任範囲 データ • 権限設定、ネットワーク設定 ランタイム • ソフトウェアのアップデート ミドルウェア OS 仮想化 サーバー ストレージ ネットワーク • セキュリティログの収集・管理 • データの暗号化 • ウイルス対策 etc… ☁ AWS責任範囲

35.

用途がある程度決まれば AWS上での ビッグデータ環境構築は 比較的難易度低。 では周辺の課題は…

36.

お伝えしたいこと ✓ なぜAWSがビッグデータ分析環境に最適なのか ✓ さまざまなソリューションがある中、実際に求 めれるモノとは ✓ ビッグデータの取り扱いではまるところ

37.

ビッグデータ × ツール

38.

収集・処理・分析 保管

39.

データ転送 • Tsunami、Skeed、Aspera • Tableau、Talentd、Domo • fluentd、ElasticSearch、Kibana、Graphana • • 専用線接続 データ統合・ダッシュボード ログ収集・可視化 その他 ダイレクトインポート

40.

データ転送

41.

confidential 3ヶ月かけて東海岸につくった インフラを9時間で西海岸に構築

42.

confidential 476.18 Mbps → 60MB/s =USB2.0最大転送速度

43.

データ統合・ダッシュボード

44.

ログ収集・可視化

46.

ビッグデータ × 事例

47.

大陸間データ伝送

48.

システム構成 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot B A m lha hnw u I ot B A 1 B A ) 3) 3) em G yO 3) 3) NP S LWOH If 1 BE A 1 If 1 BE A 3) 1 GbI h I If y C B

49.

転送状態の管理 システム構成 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot lha hnw u I ot 3) 3) em G yO 3) m 3) B A 1 NP S LWOH If 1 BE A h I If y C B 現地に近いリージョンで 毎回環境起動 B A B A ) 3) GbI 1 If 1 BE A 1

50.

システム構成 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot B A m lha hnw u I ot NP S LWOH If 1 BE A 1 h I If y C B B A ファイル分割制御・リトライ 優先度制御 1 B A ) 3) 3) em G yO 3) 3) 3) GbI If 1 BE A 1

51.

システム構成 高速ファイルファイル転送 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot B A m lha hnw u I ot B A 1 B A ) 3) 3) em G yO 3) 3) NP S LWOH If 1 BE A 1 If 1 BE A 3) 1 GbI h I If y C B

52.

ポイント 通信の最適化 • • 都度リージョン選択 伝送優先度調整 高速伝送 • • ツールとしてHULFT + Skeed利用 ファイル分割、リトライ

53.

ゲーム会社 KPI分析基盤

54.

システム構成1 ゲームサーバーにfluentd導入 A B C API JSON S3 autoscalling DWH Web/APL DWH$ (Redshift)

55.

システム構成2 変換サーバー導入 A B C fluentd JSON S3 DWH Web/APL DWH' (Redshift)

56.

システム構成比較 Fluentd API fluentd API DB DB

57.

WADANCE

58.

膨大なデータを集計、分析、俯瞰。 WADANCE(ワダンス)は、 日々の指標を誰もが読み解くことができる ビジネスツールです。

60.

https://youtu.be/CARaLuQs4m8

61.

NTTドコモ 統合分析基盤

63.

confidential 構築の背景 o ドコモにおけるビックデータ活用 業務システム のデータ 様々なログ CRMシステム ファイル の顧客データ Webサイト, ブログ ソーシャル メディア 静止画,動画 センサデータ ペタバイト級のデータ+機械学習+並列分散計算モデル マーケティング リコメンデーション オペレーション最適化 ビッグデータからの行動パ ターン分析によるサービス利 用促進/ユーザビリティ向上 多種多様なログに基づくクロ スリコメンド/チューニングに よる精度向上/対象ユーザ・ コンテンツのカバレッジ向上 ビッグデータを用いたネット ワークルーティングの最適化 Business Intelligence © 2014 NTT DOCOMO, INC. All Rights Reserved. セキュリティ メディア理解 ビッグデータを用いたハザー ドマップ/犯罪発生マップの 高精度化・カバレッジ向上 ビッグデータを用いた辞書構 築による文字認識・画像認識 精度の向上/ソーシャルメ ディア情報活用によるユーザ 動向把握 社会インフラ最適化 交通機関・公共施設の運行 最適化による待ち時間の最 小化 Data-Driven Innovation 22

64.

confidential 10TB 毎日 の ユーザー行動データ 100億超 の 行動記録処理 ※安全性を保つため 個人情報は予めフィルタ済み

65.

ポイント クラウドの拡張性の高さ • • 毎日数TB、PB級のデータ量に対応 • • • ドコモ・クラウドパッケージ MFAやCloudTrailによる証跡など継続的な機能アップ 独自セキュリティ基準確立と実装 ポリシー準拠した環境の事前準備 すべてのロールごとに権限はわける

66.

セキュリティ

67.

認証・セキュリティの取り組み PCI DSS監査証明マーク ICMS-PCI0162/PCI DSS +セキュリティルーム ICMS-PCI0162/PCI DSS ※写真はイメージです PCI DS PC ICMS PC ICMS

68.

SOC2レポート受領 • 米国公認会計士協会(AICPA)が定 める、財務報告目的以外の受託サー ビスに関する内部統制の保証報告書 • 監査法人や公認会計士が独立した第 三者の立場から、客観的に検証した 結果を記載したもの • AWS上でのSOC2受領は日本初!

69.

セキュリティ ホワイトペーパー • 国際・国内セキュリティ基準への取 り組み • ソフトウェア脆弱性情報に関する取 り組み • 業務ネットワークのセキュリティ • 運用上のセキュリティ保持体制

70.

ドコモ・クラウド パッケージ • NTTドコモ社のクラウド導入・構 築・運用管理ノウハウやツールを パッケージ化 • セキュリティデザインパータンやテ ンプレートを提供 • 準拠したSIをcloudpackで実施可能

71.

まとめ ✓ PB級のデータも初期コスト無しでスタート、 カイゼンや機能追加が日々行われていくので 成長していくAWSはビッグデータ分析環境に最適 ✓ 現実世界では、さまざまなデータソースから データ変換・統合していく必要がある ✓ データが膨大である以上、データ収集の戦略も重 要に

72.

AWS re:Invent 2015 10月6日〜9日 @ ラスベガス 参加者1万人規模 日本からも数百名参加

73.

Q&A