Monitoring the health and performance of your aws environment using the Elastic observability solution

Elastic オブザーバビリティソリューションを活⽤した AWS 環境の健全性とパフォーマンスの監視

01 02 本⽇お話する内容 03 04 05 Elastic Stack および Elastic オブザーバビリティの 概要 Elastic Cloud によるハイブリッド環境の監視 Elastic Agent 経由またはエージェントレス⽅式での データ投⼊プロセス Elastic オブザーバビリティのお客様事例 Elastic Cloud とElastic オブザーバビリティの監視 機能デモ

スピーカーのご紹介 テクニカルプロダクト マーケティングマネージャー 鈴⽊ 章太郎 Elastic ソリューションアーキテクト ⽇⾺ 康和 Elastic データベースパートナー ソリューションアーキテクト 吉⽥ 成利 アマゾン ウェブ サービス ジャパン合同会社 ISV パートナー本部

Elastic Stack および Elastic オブザーバビリティソリューションのご紹介 スピーカー︓鈴⽊ 章太郎

The Elasticsearch Platform Enterprise Search Observability Security Kibana Explore, Visualize, Engage Elasticsearch Store, Search, Analyze Integrations Connect, Collect, Alert Public cloud Hybrid On-premises

Speed Scale Relevance スピード︓構造化データセット・⾮構造化 スケール︓何百ものシステム 検索結果の的確さ︓データと データセットを検索し、数ミリ秒以内に にまたがる超⼤規模な拡張 関連度の⾼い検索結果を抽出し、 検索結果を表⽰します。 や横展開が可能です。 実⽤的なインサイトをもたらします。

…さらに、インターネット検索全体のおよそ 90％ のデータ 処理を裏側でサポートしているのも Elastic です。 Forbes に掲載された記事

• https://www.forbes.com/sites/oliviergarret/2020/09/04/elastic-the-most-important-tech-company-you-havent-heard-of

スケール（およびスピード）を 実 現します ● 173万件 2ペタバイト 500万件 300万件 のイベント処理/分 のイベント処理/⽇ ○オブザーバビリティの基盤となる Elasticsearch︓ ○・⾼可⽤性を考慮した分散処理 ○・スピードとスケールを容易に両⽴ の メトリック処理/秒 のイベント処理/分

利⽤者が求めていること スピード 利便性 リアルタイム の可視性 時間の節約 ⼼の余裕 （娯楽・⾷事）

ソフトウェアの開発⽅法とデリバリーは常に進化 CI / CD サーバレス コンテナ オーケストレーション マイクロ サービス クラウド

現状 ー 典型的なオブザーバビリティのツール群 運⽤: ログ監視 ログツール ウェブログ アプリログ データベース ログ コンテナログ 運⽤︓ インフラ監視 メトリック ツール コンテナ指標 ホスト指標 データベース指標 ネットワーク指標 ストレージ指標 開発チーム 運⽤︓ サービス監視 ビジネス チーム APM ツール アップタイム ツール ビジネスツール リアルユーザー監視 トランザクション パフォーマンス監視 分散トレーシング 可動性 応答時間 ビジネス KPI

カスタマーエクスペリエンス 404 エラー 決済（チェックアウト） エラー 不⼗分な フィードバック 機会 利⽤者の声が届かない

Elastic の優位性 細部にわたり、 ⼀元的に可視化 オープンかつ 無制限 パフォーマンスと スケーラビリティ 相関するAPM 、トレース、ログ、 メトリックを集約 データの粒度、保存、拡張 「未知の未知」を探索 トレース、ログ、メトリックの⾃動相関 機能で、アプリケーションの可視性を ⾼めます。 Elastic はあらゆるプラットフォームに デプロイできます。データの保存期間や 粒度を⾃由に設定できるほか、必要 に応じてカスタマイズもできます。 思考並みの速度で異種クラスターの トラブルシュートを実⾏。 データ量の増加に合わせて拡張 できます。

Elastic オブザーバビリティの ユースケース ⾒やすく整理されたアプリで価値を早期に実現 ログ分析の⼀元化 インフラやアプリケーションのログだけでなく、構造化データのイベント ログも⼀元的に分析します インフラ監視 インフラコンポーネントすべてのログやメトリックを収集し、可⽤性を監視 します アプリケーションパフォーマンス監視(APM) アプリケーションログやメトリックの監視、分散トレーシング、エラーや 依存関係の追跡管理、APIの健全性監視を⾏います エンドユーザーエクスペリエンスの監視 リアルユーザー監視(RUM)、ウェブサイトの可⽤性監視、ブラウザ ベースのシンセティック監視を⾏います クラウド移⾏状況に関する監視 複数のツールやサービスで移⾏フェーズのすべてを監視し、移⾏作業 の⾃動化・迅速化を⽀援します

オブザーバビリティを実現するための Elastic のアプローチ 開発(Dev)、オペレーション(Ops)、ビジネス部⾨のチーム ログデータ メトリック データ APM データ シンセティック データ ビジネスデータ オペレーションに関するデータをパワフルなデータストアに⼀元化 ̶ Elasticsearch

Elastic オブザーバビリティ アナリスト向けワークフローの統合 回転イス(swivel-chair)式の⾮効率な分析を撤廃 アラート機能の統合 ⼤量通知によるアラート疲れを軽減するスマートルール 機械学習(ML)の統合 課題を素早く特定するスマートな検知機能 統合スキーマ ソース横断的な相関付けで分析をスピードアップ ログ メトリック APM アップタイム 学習、セキュリティ、保守を単⼀ツールでカバー どこにでもデプロイ可能 ビジネス パワフルな⼀元データストア ̶ Elasticsearch オペレーションの効率化 ハイブリッド環境における「データグラビティ」の実現

統合スキーマ︓Elastic Common Schema (ECS) Elastic Stack のデータ正規化プロセス Elasticsearch にデータを取り込むために、フィールド とオブジェクトの共通セットを定義 様々なデータを横断的にカバーするクロスソース分析 を有効化 拡張性を考慮した設計 Elastic Stack 全体に ECS を適⽤ コントリビューションやフィードバックをお待ちしています︓ https://github.com/elastic/ecs ECS を使わずに検索すると︓ src:10.42.42.42 OR client_ip:10.42.42.42 OR apache2.access.remote_ip: 10.42.42.42 OR context.user.ip:10.42.42.42 OR src_ip:10.42.42.42 ECS を使って検索すると︓ source.ip:10.42.42.42

• https://github.com/elastic/ecs

様々なデータタイプ 統合された単⼀プラットフォームを介してデータを投⼊ ログ メトリック シンセティック データ 位置情報 APM/RUM Elastic Agent & Fleet セキュリティ コンテンツ オープンスタンダード サードパーティ インストールが簡単 アップグレードが簡単 容易に拡張可能

+ =

OpenTelemetry プロトコルのネイティブサポート ● OpenTelemetry︓オブザーバビリティに関するデータ収集の新規格 ● ベンダーニュートラルなプロトコル ● ネイティブサポート対応 → OpenTelemetry Collector のデプロイは不要 ● OpenTelemetry のセマンティクス規則 (Semantic Conventions) を ECS にマッピング ● Elastic は、OpenTelemetry の設⽴当初（2020年）からのサポート メンバー

外部連携機能が組み込まれた⼀元ソリューションで、価値を早期に実現 200種類以上の汎⽤テクノロジースタックとターンキー⽅式で連携できます

機械学習とアラートの統合による異常検知 ⼤規模環境で検知ルールを実⾏し、アナリストに必要なインサイトをもたらします

機械学習とアラートの統合︓オブザーバビリティに関する検知機能 ●アナリストにとって使い勝⼿の良いアラート作成・管理プロセス コンテキスト内の アラート作成 ⼀貫したユーザー エクスペリエンス アラート通知と サマリーの統合

アナリスト向けワークフローの統合 ︓メトリック → トレース → ログ From KPIs to logs

機械学習とアラートの統合︓ SecOps に関する検知機能 オブザーバビリティデータに加え、コンプライアンスとセキュリティに関するデータも監視します

データグラビティを実現する柔軟なデプロイ形態 ●ハイブリッド環境全体でオブザーバビリティに関するテレメトリ収集をサポートします セルフマネージド版 単⼀パッケージのインストール Elastic Cloud Enterprise Elastic Cloud on Kubernetes お客様のインフラにデプロイ済の内容を ⼀元管理 Elastic Cloud AWS に即デプロイ可能

メトリック、ログ、トレースの統合による ハイブリッド環境全体のコンテキスト可視化 スピーカー︓吉⽥ 成利、⽇⾺康和

AWS CLOUD への移⾏プロセス クラウド移⾏時の課題 リスクを取らなければ成果は得られません。 複雑性とオブザーバビリティの問題 何千もの複雑なワークロード、可視性の⽋如 所要期間 通常の移⾏プロセスは数年単位 アーキテクチャの再構築 クラウドに合わせてアプリケーションの再編が必要 パフォーマンス レイテンシー、相互運⽤性、レガシーアプリへの依存、ダウンタイム 発⽣の懸念 セキュリティに関する懸念事項 データの漏洩、紛失、外部からの攻撃 クラウドへの移⾏プロセス 1 クラウドの評価 2 概念検証 (PoC) 4 アプリ移⾏ データ移⾏ 5 クラウドの活⽤ 3 6 最適化

リスクとコストを低減し、クラウドへの移⾏をスピードアップ AWS Well-Architected フレームワーク セキュリティ ● ● ● ● トレーサビリティ すべてのレイヤーを 保護 セキュリティイベント へ対策 ベストプラクティスの ⾃動化 信頼性 ● ● ● 勘に頼らない キャパシティ予測 障害からの⾃動回復 変更管理の⾃動化 パフォーマンス効率 ● ● ● 先端テクノロジーを サービスとして利⽤ 頻繁な実験 サーバーレス アーキテクチャの利⽤ オペレーショナル エクセレンス コスト最適化 ● ● ● 効率性の測定 運⽤コストの抑制 ⽀出の分析と分類 ● ● 運⽤指標（メトリッ ク）の定義・捕捉・ 分析 運⽤指標や内部 状態（ログ、トレース 情報）の理解 持続可能性 ● ● リソース利⽤率の向上 による必要リソース量 の削減 コードやアーキテクチャ の最適化

皆様のクラウドジャーニーを⽀援します 移⾏前 移⾏中 移⾏後 Elastic オブザーバビリティ ログ メトリック APM アップタイム 以下を考慮し、移⾏計画を効果的に 策定︓ ● オンプレミスの状況を可視化し、お 客様環境のモノリシックアプリをすべて 把握 ● サービスマップをもとに、アプリケー ションアーキテクチャと依存関係をビ ジュアル化 ● オンプレミスのパフォーマンスをもとに、 Webアプリ閲覧者のリアルユーザー エクスペリエンスを測定 ● 移⾏前のコスト分析(TCO)、アプリ ケーションポートフォリオ、サイジングの 適正化 ● ● ● ハイブリッド環境の監視 複雑なアーキテクチャの（マイク ロ）サービスに、カスタマーエクスペ リエンスに⽀障をきたす⼤幅なレイ テンシーやエラーなどの問題が潜ん でいないかを分散トレーシングで 特定 移⾏作業中の検証 ● ● ● ● 移⾏後の相互牽制機能 アラート機能とインシデント管理 クラウドに乗せたリソースをすべて 監視（アップタイム） コスト最適化

Elastic と AWS の連携 よく使われる汎⽤的な AWS サービスのほぼすべてをサポート

動的なハイブリッドクラウド環境を Elastic で監視 複数のリージョンに集約 複数のデータセンター コンテンツ配信 ネットワーク エンタープライズ アプリケーション Elastic Ingestion ストレージ Elastic Ingestion Amazon Kinesis エンタープライズ アプリケーション Application Load Balancer Amazon S3 コンテナ Amazon CloudFront Elastic Block Store (EBS) RDS インスタンス Lambda 関数 Amazon EC2 Amazon S3 メイン フレーム ファイア ウォール サーバー

ワンエージェント、ワンクリックによる AWS 連携 スピーカー︓⽇⾺ 康和

Elastic へのデータ投⼊⽅法が改良されました Elastic Agent • • ログ、メトリック、セキュリティなどの データを⼀元的に収集する総合 エージェント インストール、アップグレード、拡張 がより簡単に Fleet 連携 • 各種エージェントと設定内容を ⼀元管理 • 最もよく使われる AWS サービスと のワンクリック連携機能を追加 • 何千ものエージェントをワンクリック で⾃動更新 • ログ解析、ダッシュボードなどの 機 能を標準搭載

Elastic Agent ログ、メトリック、セキュリティなどのデータを⼀元的に収集する総合エージェント これまで ホストごとに使い分け︓ • • • • • • Filebeat （ログ） Metricbeat （メトリック） APMエージェント （アプリケーショント レース） Heartbeat （アップタイム） Endpoint （セキュリティ） Winlogbeat （Windowsデータ） これから ホスト単位で︓ • ログ、メトリック、セキュリティデータを Elastic Agent が⼀元的に収集します。 アップタイム、Windows データ、トレースに ついては近⽇中にサポート開始予定。 インストールから設定、拡張まで単⼀ エージェントで完結します。

よく使われる汎⽤的な AWS サービスを サポート ● AWS 環境全体を Elastic で⼀元的に 可視化 ● 20種類以上の AWS サービスと統合可能 （順次拡充中） ● ログ解析、ダッシュボードなどの機能を標準 搭載 ● Amazon インフラやアプリのパフォーマンスと 健全状態を可視化し、より深いインサイトを 提供

AWS のメトリックを Elastic で収集 どのマシンにも デプロイ可能 Elasticsearch インジェスト ノード Amazon CloudWatch のメトリック Elastic Agent AWS EC2 データ ノード Amazon EC2 インスタンス上の Elastic Agent

AWS 側のメトリックとの連携 #welovecloud メトリックセット （GetMetricData API 経由） ● ● ● ● ● ● ● ● ● ● ● Amazon CloudWatch Amazon EC2 Amazon SQS Amazon S3（⽇次データのストレージ、リクエスト） Amazon RDS Amazon DynamoDB Elastic Load Balancing Amazon EBS AWS Lambda VPN、トランジットゲートウェイ、NAT ゲートウェイ 請求・使⽤状況 Amazon CloudWatchのメトリック合算（＝統計） ● ● ● 最⼩値、最⼤値 合計、平均 サンプルカウント

AWS Overview（AWS の概要）画⾯ AWS 環境の健全状態を細部まで可視化します

AWS のログ/イベントを Elastic で収集 Amazon Amazon CloudWatch VPC Amazon Elastic Amazon EC2 Load Balancing S3 AWS CloudTrail Elasticsearch インジェスト ノード Amazon S3 Amazon SQS Elastic Agent データ ノード

Amazon VPC Flow Logs との連携モジュール Amazon VPC Flow Logs︓AWS の VPC ネットワークインターフェースを⾏き来する IP トラフィックの状態を捕捉するためのログ • S3 で収集する AWS サービスのログを捕捉 ‒ ‒ ‒ ‒ ‒ Amazon VPC Flow Logs Elastic Load Balancing のアクセスログ Amazon EC2 のログ AWS CloudTrail のログ Amazon CloudWatch Logs • さらに、Amazon S3 のサーバーアクセスログそ のものも捕捉 ‒ ‒ ‒ セキュリティ監査 アクセスログ Amazon S3 の利⽤料⾦を把握する便利 な⼿段 • ダッシュボードも搭載しています

AWS のデータをエージェントレスで Elastic に投⼊（全体の流れ） ● AWS Serverless Application Repository (SAR)、Amazon S3 → Elasticsearch ○ AWS SAR︓Lambda コンソールで利⽤可能なサーバーレスアプリケーションのマネージド型リポジトリ ○ ⼀元リポジトリである SAR 経由で、Lambda テンプレートを選択・実⾏可能 ○ AWS の SAR テンプレートを使って AWS S3 から Elastic にログデータを取り込みます ● AWS Fargate、FireLens → Elasticsearch ○ Fargate︓AWS Elastic Container Service (ECS) のサーバーレスコンピューティングエンジン ○ FireLens︓Fargate が収集したログの出⼒先を選択したり、デプロイスクリプトを改変せずにフィルタを任意で定義できる、 コンテナログのルーティングツール ○ Fargate から Elasticsearch へのログデータは、FireLens を介してエージェントレスで取り込みます。これにより、AWS CloudWatch によるログの集約が不要になるため、コスト低減と簡素化につながります。 ● AWS Kinesis Firehose 配信ストリーム ○ Firehose から Elasticsearch へのデータ投⼊についても、サポート実現に向けて鋭意準備中です︕ AWS Serverless Application Repository Amazon S3 AWS Fargate

AWS のデータをエージェントレスで Elastic に投⼊ Amazon S3 および Firehose については、近⽇中に対応予定 ● Amazon S3 → Elastic Cloud ○ AWS EC2 に Beats をインストールする必要はありません︕ ○ AWS SAR の elastic-agentless-logging テンプレートを選択します ○ S3 のデータを Elasticsearch に取り込みます ● 各種 AWS ログ → Firehose → Elastic Cloud ○ Beats をインストールする必要はありません︕ ○ Firehose のログをほぼリアルタイムで Elasticsearch に取り込みます Placeholder: visual from S3 SAR demo

• https://console.aws.amazon.com/lambda/home?region=us-east-1

Elastic オブザーバビリティをご利⽤いただいて いるお客様の成功事例 スピーカー︓⽇⾺ 康和

株式会社ぐるなび︓ ⾼速検索機能と⾼い運⽤効率を もって膨⼤なログデータを解析。障害対応の迅速化 に加えより戦略的な⽤途での情報活⽤が可能に 「弊社のシステムは、サービスサイトの関係で⾔語も多岐にわたり、またアプリケーションの性質 によっては取得するログデータの種類も異なり、様々なインデックスが存在するといった状態です 。クラウドを含めてそれらを横断的に⾒たいというのが開発者側の希望でしたが、今回の包括的な Elastic 環境の導⼊により、これが可能となりました」 岩本俊明⽒ ぐるなび 開発部 エンジニアリング セクションで副セクション⻑ PROFILE About:飲⾷店情報サイト「ぐるな び」をサービス提供 GOALS ● ● Industry: 情報サービス Location: ⽇本 ● 全アプリとネットワーク機器から のログに対する⾼速検索 迅速な障害対応、運⽤負荷の低減 ビジネス戦略⽤途での情報の活⽤ SOLUTIONS ● ● Elasticsearch、Kibana による ⼤量ログの解析に不可⽋な⾼速 検索の実現 Elastic Cloud によるバージョ ンアップ等に伴う運⽤負荷の軽 減 RESULTS ● ● ⼿作業によるログデータのコピー や内容確認に費やされていた1時 間以上の対応時間が、わずか数秒 に短縮 調査も含めて5〜10⽇前後もかか ったバージョンアップ対応を、ほ とんど時間をかけずに実⾏ elastic.co | @2021 Elasticsearch B.V. All rights reserved.

Hybrid クラウド環境のオブザーバビリティを Elastic Cloud にて実現。 https://www.elastic.co/jp/customers/gurunavi

• https://www.elastic.co/jp/customers/gurunavi

ISV Workload Migration Program (WMP) 訳注︓AWS が ISV パートナーと共同で提供するワークロード移⾏プログラム 共通⽬標︓ AWS と Elastic は、お客様の Elastic ワークロードを Elastic Cloud に移⾏することで、 お客様が事業⽬標を達成し、クラウドジャーニーを加速できるよう⽀援します。 両者がもつノウハウを活⽤し、お客様の Elastic Cloud への移⾏を⽀援 規範的かつ反復可能な移⾏アプローチをお客様に提供し、クラウド化を加速

Elastic のお客様にとってのメリット 短期間でクラウド対応が完了するため、価値を早期に実現できます 検証済みの移⾏プロセスにより、リスクを緩和できます 移⾏後も、クラウドセキュリティとオペレーションを最適な状態に保てます 移⾏資⾦（funding) が供与されるため、移⾏コストを低減できます

Elastic オブザーバビリティソリューションを活⽤した AWS 環境の健全性とパフォーマンスの監視

リソース • 公式ドキュメント https://www.elastic.co/guide/index.html • クラウドネイティブ アプリでの Elasticsearch https://docs.microsoft.com/ja-jp/dotnet/architecture/cloudnative/elastic-search-in-azure • Elastic APM Agent https://www.elastic.co/guide/en/apm/agent/index.html • Reactivesearch • APM https://www.elastic.co/jp/apm/ • Configuration on .NET Core https://www.elastic.co/guide/en/apm/agent/dotnet/current/co nfiguration-on-asp-net-core.html • ASP.NET Core Quick Start https://www.elastic.co/guide/en/apm/agent/dotnet/current/set up-asp-net-core.html • K8s Observability サンプルソリューション GitHub レポジトリ https://github.com/michaelhyatt/k8s-o11y-workshop https://opensource.appbase.io/reactivesearch/ • 関連ブログ • 優れた React 検索エクスペリエンスを迅速に構築する ⽅法 https://www.elastic.co/jp/blog/kubernetes-observabilitytutorial-k8s-cluster-setup-demo-app-deployment https://www.elastic.co/jp/blog/how-to-build-great-reactsearch-experiences-quickly ● Search UI Elastic GitHub レポジトリ https://github.com/elastic/search-ui https://www.elastic.co/blog/kubernetes-observability-tutorialk8s-log-monitoring-and-analysis-elastic-stack https://www.elastic.co/blog/kubernetes-observability-tutorialk8s-metrics-collection-and-analysis https://www.elastic.co/blog/kubernetes-observability-tutorialk8s-monitoring-application-performance-with-elastic-apm

• https://www.elastic.co/guide/index.html
• https://docs.microsoft.com/ja-jp/dotnet/architecture/cloud-native/elastic-search-in-azure
• https://www.elastic.co/guide/en/apm/agent/index.html
• https://opensource.appbase.io/reactivesearch/
• https://www.elastic.co/jp/blog/how-to-build-great-react-search-experiences-quickly
• https://github.com/elastic/search-ui
• https://www.elastic.co/jp/apm/
• https://www.elastic.co/guide/en/apm/agent/dotnet/current/configuration-on-asp-net-core.html
• https://www.elastic.co/guide/en/apm/agent/dotnet/current/setup-asp-net-core.html
• https://github.com/michaelhyatt/k8s-o11y-workshop
• https://www.elastic.co/jp/blog/kubernetes-observability-tutorial-k8s-cluster-setup-demo-app-deployment
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-log-monitoring-and-analysis-elastic-stack
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-metrics-collection-and-analysis
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-monitoring-application-performance-with-elastic-apm

Thank you for your attention!