366 Views
September 28, 15
スライド概要
2015.9.28にAWS大阪で行われた「ビッグデータ & IoT “まるごと” お任せセミナー」で話したインフラ目線でのビッグデータ基盤攻略ネタ(事例中心)です。AWS、クニエ、cloudpackの3社で講演しました。
2015.9.28 ビッグデータ & IoT “まるごと” お任せセミナー cloudpack的 AWS徹底活用によるビッグデータ攻略術 アイレット株式会社
執行役員 / エバンジェリスト 後藤 和貴 @kaz_goto
☁ cloudpack事業 執行役員 • エバンジェリスト • マーケティング担当(PR、ウェブ…) ☁ バックグラウンド 執行役員 / エバンジェリスト 後藤 和貴 @kaz_goto • Oracle カスタマーサポート→開発 • ビジネス・アーキテクツ • テクニカルディレクター(フリーランス)
アイレット株式会社 設立 2003年10月15日 資本金 7,000万円 代表者 齋藤 将平 従業員数 100名(2015年9月現在) 事業内容 システム開発・保守 マネジドホスティング
AWSを活用しながらビジネスに集中できる コンシェルジュサービス
cloudpackビジネス 設計支援 コンサル MSP 運用保守 システム 開発
24時間365日 監視運用保守 企業 定額課金/ 請求書払い Pマーク、ISMS、PCI DSS取得済みの運用体制 AWS
プレミアコンサルティングパートナー 全世界2222社中 アジア地域 4 社 最上位パートナー Premier > Advanced > Standard > Registered 3年連続は2社のみ
5年間AWSのみで運用保守 4社 5年間 500 800 プロジェクト超 社超
ワンストップでシステム開発から運用保守まで
企業規模別 cloudpack利用比率 36 % 中小企業 27 % 中堅企業 37 % 大企業
cloudpackの主な利用状況 Web系 91 % うち33%が ソーシャルゲームや メディアサイト
クラウド 導入事例 100 (※) ※ 2015年6月時点
cloudpack事例
confidential クライアント 株式会社ユニクロ 制作 株式会社マウント
confidential お題「絶対に落とさないこと」
confidential
confidential 担当者「え?CM打ったらどれだけアクセスくるか…」
confidential キャンペーン期間外 サーバー性能強化 台数も増加 アクセス状態を見て 途中でスペックダウン 結果発表のため 静的なコンテンツのみ キャンペーン期間中
confidential ポイント キャンペーン開始時に絶対に落ちない構成 • • 一時的に最強スペックにすることも可能 冗長構成が取られていればサイトを停止せずに増強も キャンペーンが終われば最小構成に変更可能 • 不要なサーバーは状態をそのまま保存して、 次回面倒な構築無しにそのまま利用可能
confidential クライアント サントリー 制作 TYO/ID
confidential お題「1日だけネット上でフェスするけど」
confidential
confidential 担当者「え?1日のためにサーバー購入するの?」
confidential フェス開催中 平常時 フェス開始 ウェブサーバー サーバー台数 増やすのは 1台数分レベル フェス終了 サーバー台数 減らすのは一瞬 データベース データベース 冗長構成 (片方落ちても大丈夫) 30台 構成 フェス当日だけ 1台→ 1日分=8万円だけ 費用は 通常約240万円/月のところ
confidential ポイント ライブのようなアクセスにも耐えうる構成も実現 可能 • • • 事前にサーバー調達が不要、時期が来たら増やすだけ わずか数日分のコストだけ追加になる 事前テストも容易にできる サーバーをコピーし利用する • フェス時に各サーバーを1から構築するのは不要となるため、 構築作業を大幅に減らせる
confidential クライアント トヨタ自動車 トヨタメディアサービス
トヨタ公式ウェブサイト ☁ 月間1億PV 45億ヒット、 新車発表時3倍のアクセス ☁すべてのサイトで複数サーバー 開発環境なども含め、 計100台以上 ☁東京リージョン障害時に シンガポールで復旧可能 toyota.jp lexus.jp www.toyota.co.jp m.toyota.jp www.toyota-global.com s-api.etoyota.net etoyota.net
別ロケーションでの復旧 ☁ 災害時シンガポールにほぼ自動的に環境構築 ☁ テンプレート(レシピ)から一発で構築可能 CloudForma*on, Template, Tokyo Region Stack, Singapore Region
ハイレベルなセキュリティ基準 ☁ AWSで国内初のPCI-DSS Level1環境の構築の実績 • PCI-DSSとは • PCI DSS (Payment Card Industry Data Security Standard) は国際カードブランド5 社(Visa、MasterCard、JCB、American Express、Discover) が共同で設立したPCI SSC(Payment Card Industry Security Standard Council)によって策定されたグロー バルセキュリティ基準。 • 世界のクレジットカード会社が求める プレスリリース(http://www.cloudpack.jp/press/20130308.html) セキュリティ実装のスタンダード
confidential Coiney 既存サイトをPCI DSS Level1に準拠させる為、 cloudpackはインフラ構築・セキュリティ面でのコンサルティングを担当
実践的セキュリティ対策 アプリケーション ☁ ユーザー責任範囲 データ • 権限設定、ネットワーク設定 ランタイム • ソフトウェアのアップデート ミドルウェア OS 仮想化 サーバー ストレージ ネットワーク • セキュリティログの収集・管理 • データの暗号化 • ウイルス対策 etc… ☁ AWS責任範囲
用途がある程度決まれば AWS上での ビッグデータ環境構築は 比較的難易度低。 では周辺の課題は…
お伝えしたいこと ✓ なぜAWSがビッグデータ分析環境に最適なのか ✓ さまざまなソリューションがある中、実際に求 めれるモノとは ✓ ビッグデータの取り扱いではまるところ
ビッグデータ × ツール
収集・処理・分析 保管
データ転送 • Tsunami、Skeed、Aspera • Tableau、Talentd、Domo • fluentd、ElasticSearch、Kibana、Graphana • • 専用線接続 データ統合・ダッシュボード ログ収集・可視化 その他 ダイレクトインポート
データ転送
confidential 3ヶ月かけて東海岸につくった インフラを9時間で西海岸に構築
confidential 476.18 Mbps → 60MB/s =USB2.0最大転送速度
データ統合・ダッシュボード
ログ収集・可視化
ビッグデータ × 事例
大陸間データ伝送
システム構成 bIlIrd If t Ik F , F AD A m > ( B A > ( > 3 -‐‑‒ B E F AD A v m B A v I B Am ot u I ot O H B B AD A A 2B ( A m 1 m If y m ot B A m lha hnw u I ot B A 1 B A ) 3) 3) em G yO 3) 3) NP S LWOH If 1 BE A 1 If 1 BE A 3) 1 GbI h I If y C B
転送状態の管理 システム構成 bIlIrd If t Ik F , F AD A m > ( B A > ( > 3 -‐‑‒ B E F AD A v m B A v I B Am ot u I ot O H B B AD A A 2B ( A m 1 m If y m ot lha hnw u I ot 3) 3) em G yO 3) m 3) B A 1 NP S LWOH If 1 BE A h I If y C B 現地に近いリージョンで 毎回環境起動 B A B A ) 3) GbI 1 If 1 BE A 1
システム構成 bIlIrd If t Ik F , F AD A m > ( B A > ( > 3 -‐‑‒ B E F AD A v m B A v I B Am ot u I ot O H B B AD A A 2B ( A m 1 m If y m ot B A m lha hnw u I ot NP S LWOH If 1 BE A 1 h I If y C B B A ファイル分割制御・リトライ 優先度制御 1 B A ) 3) 3) em G yO 3) 3) 3) GbI If 1 BE A 1
システム構成 高速ファイルファイル転送 bIlIrd If t Ik F , F AD A m > ( B A > ( > 3 -‐‑‒ B E F AD A v m B A v I B Am ot u I ot O H B B AD A A 2B ( A m 1 m If y m ot B A m lha hnw u I ot B A 1 B A ) 3) 3) em G yO 3) 3) NP S LWOH If 1 BE A 1 If 1 BE A 3) 1 GbI h I If y C B
ポイント 通信の最適化 • • 都度リージョン選択 伝送優先度調整 高速伝送 • • ツールとしてHULFT + Skeed利用 ファイル分割、リトライ
ゲーム会社 KPI分析基盤
システム構成1 ゲームサーバーにfluentd導入 A B C API JSON S3 autoscalling DWH Web/APL DWH$ (Redshift)
システム構成2 変換サーバー導入 A B C fluentd JSON S3 DWH Web/APL DWH' (Redshift)
システム構成比較 Fluentd API fluentd API DB DB
WADANCE
膨大なデータを集計、分析、俯瞰。 WADANCE(ワダンス)は、 日々の指標を誰もが読み解くことができる ビジネスツールです。
https://youtu.be/CARaLuQs4m8
NTTドコモ 統合分析基盤
confidential 構築の背景 o ドコモにおけるビックデータ活用 業務システム のデータ 様々なログ CRMシステム ファイル の顧客データ Webサイト, ブログ ソーシャル メディア 静止画,動画 センサデータ ペタバイト級のデータ+機械学習+並列分散計算モデル マーケティング リコメンデーション オペレーション最適化 ビッグデータからの行動パ ターン分析によるサービス利 用促進/ユーザビリティ向上 多種多様なログに基づくクロ スリコメンド/チューニングに よる精度向上/対象ユーザ・ コンテンツのカバレッジ向上 ビッグデータを用いたネット ワークルーティングの最適化 Business Intelligence © 2014 NTT DOCOMO, INC. All Rights Reserved. セキュリティ メディア理解 ビッグデータを用いたハザー ドマップ/犯罪発生マップの 高精度化・カバレッジ向上 ビッグデータを用いた辞書構 築による文字認識・画像認識 精度の向上/ソーシャルメ ディア情報活用によるユーザ 動向把握 社会インフラ最適化 交通機関・公共施設の運行 最適化による待ち時間の最 小化 Data-Driven Innovation 22
confidential 10TB 毎日 の ユーザー行動データ 100億超 の 行動記録処理 ※安全性を保つため 個人情報は予めフィルタ済み
ポイント クラウドの拡張性の高さ • • 毎日数TB、PB級のデータ量に対応 • • • ドコモ・クラウドパッケージ MFAやCloudTrailによる証跡など継続的な機能アップ 独自セキュリティ基準確立と実装 ポリシー準拠した環境の事前準備 すべてのロールごとに権限はわける
セキュリティ
認証・セキュリティの取り組み PCI DSS監査証明マーク ICMS-PCI0162/PCI DSS +セキュリティルーム ICMS-PCI0162/PCI DSS ※写真はイメージです PCI DS PC ICMS PC ICMS
SOC2レポート受領 • 米国公認会計士協会(AICPA)が定 める、財務報告目的以外の受託サー ビスに関する内部統制の保証報告書 • 監査法人や公認会計士が独立した第 三者の立場から、客観的に検証した 結果を記載したもの • AWS上でのSOC2受領は日本初!
セキュリティ ホワイトペーパー • 国際・国内セキュリティ基準への取 り組み • ソフトウェア脆弱性情報に関する取 り組み • 業務ネットワークのセキュリティ • 運用上のセキュリティ保持体制
ドコモ・クラウド パッケージ • NTTドコモ社のクラウド導入・構 築・運用管理ノウハウやツールを パッケージ化 • セキュリティデザインパータンやテ ンプレートを提供 • 準拠したSIをcloudpackで実施可能
まとめ ✓ PB級のデータも初期コスト無しでスタート、 カイゼンや機能追加が日々行われていくので 成長していくAWSはビッグデータ分析環境に最適 ✓ 現実世界では、さまざまなデータソースから データ変換・統合していく必要がある ✓ データが膨大である以上、データ収集の戦略も重 要に
AWS re:Invent 2015 10月6日〜9日 @ ラスベガス 参加者1万人規模 日本からも数百名参加
Q&A