Elastic observability can smartly manage the apps on kubernetes

Elastic オブザーバビリティを 活⽤した Kubernetes のアプリ監視 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官

Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist 内閣官房 IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist

Elastic 概要

3 Solutions, 1 Stack, Deploy Anywhere 3つのソリューション Elastic エンタープライズサーチ Elastic オブザーバビリティ Elastic セキュリティ 可視化 & 管理 Kibana Elastic スタックで実現 Beats 豊富なデプロイ選択肢 蓄積、検索、分析 Elasticsearch Logstash Elastic Cloud Elastic Cloud Enterprise SaaS (AWS/Azure/GCP) IaaS (クラウド & オンプレ） Elastic Cloud on Kubernetes Kubernetes (クラウド & オンプレ） 収集

Kubernetes 監視における課題

Kubernetes の課題 Dev Ops Infrastructure Container Runtime

Kubernetes のログとメトリック、トレースを組み合わせる ● ● ● コマンド1つで Kubernetes のアプリからログをストリーミング可能 テレメトリーのインフラデータから Prometheus のメトリック、Jaeger のトレースまで収集し、オープンソースの Elastic APM エージェントで分散トレーシングを実施可能 事前設定済みの Kibana ダッシュボードですぐに確認でき、Metricsアプリで横断的に検索できる

• https://www.elastic.co/jp/apm
• https://www.elastic.co/jp/infrastructure-monitoring

Kubernetes サービスの変化を把握する ● ● ● MetricbeatとFilebeatの⾃動 探知機能 で、環境のあらゆる変化 を把握できる モジュールを追加したり、パスを記録 するプロセスは⾃動化され、 Docker や Kubernetes の API フックを使って監視設定が動的に 調整される さらにメタデータが付記されることに より、すべてのデータの出所を把握 できる

• https://www.elastic.co/jp/webinars/elasticsearch-log-collection-with-kubernetes-docker-and-containers
• https://www.elastic.co/jp/blog/shipping-kubernetes-logs-to-elasticsearch-with-filebeat

Kubernetes に Elastic Observability を適⽤したサンプル MySQL APM packetbeat metricbeat filebeat Elastic Search Service (Elastic Cloud) or Azure Kubernetes Service Elastic Cloud on Kubernetes (ECK) 9

Elastic Cloud on Azure と サンプルアプリのデプロイ

Kubernetes クラスターのセットアップとデモアプリのデプロイ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-cluster-setup-demo-app-deployment

• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-cluster-setup-demo-app-deployment

GitHubのレポジトリ: https://github.com/michaelhyatt/k8s-o11y-workshop

• https://github.com/michaelhyatt/k8s-o11y-workshop

Elastic Cloud デプロイ (Elastic & 各 Marketplace) Elastic https://www.elastic.co/jp/ AWS https://aws.amazon.com/marketplace/ Azure https://portal.azure.com/#create/hub GCP https://console.cloud.google.com/marketplace

• https://www.elastic.co/jp/
• https://portal.azure.com/
• https://aws.amazon.com/marketplace/pp/prodview-voru33wi6xs7k?ref_=unifiedsearch
• https://console.cloud.google.com/marketplace

Elastic Cloud on Azure デプロイ # Get credentials for create_secrets.sh # - cloud_id, cloud_auth, apm_url, apm_token https://github.com/michaelhyatt/k8s-o11yworkshop/tree/cc6095210180f8526a9fdc518cf9 e3894b9ea9d0#elastic-cloud https://www.elastic.co/jp/

• https://www.elastic.co/jp/
• https://github.com/michaelhyatt/k8s-o11y-workshop/tree/cc6095210180f8526a9fdc518cf9e3894b9ea9d0

Secrets の設定、Beats のセットアップ # create_secrets.sh を更新して実⾏する $HOME/k8s-o11y-workshop/install/create_secrets.sh ./create_secrets.sh # metricbeat と filebeat を動かしてセットアップする kubectl create -n kube-system -f metricbeat/metricbeat-setup.yml kubectl create -n kube-system -f filebeat/filebeat-setup.yml # 完了状況をウォッチする (completed になれば OK) kubectl get pods --namespace=kube-system

Demo Secrets の設定、Beats のセットアップ

Kubernetes ログの監視

Kubernetes のログを収集 Deployment options Node 1 Node 2 Node n Filebeat Filebeat Filebeat DaemonSet Filebeat

Kubernetes ログの集約
./filebeat modules enable kubernetes
-

クラスターレベルのログ
サービスレベルのログ (例︓nginxのログ)
-

-

Auto-discovery

アプリのログ
全てコンテナのログを tail
add_kubernetes_metadata でログをエンリッチ
各イベントは下記の情報が追加される
-

Pod Name
Pod UID
Namespace
Labels

processors:
- add_kubernetes_metadata:
host: <host_name>
kube_config: ${HOME}/.kube/config

メタデータプロセッサー イベントにメタデータを追加してログ、メトリックス、トレースを関連付け add_cloud_metadata add_docker_metadata add_kubernetes_metadata • cloud.availability_zone • docker.container.id • kubernetes.pod.name • cloud.region • docker.container.image • kubernetes.namespace • cloud.instance_id • docker.container.name • kubernetes.labels • cloud.machine_type • docker.container.labels • kubernetes.annotations • cloud.project_id • kubernetes.container.name • cloud.provider • kubernetes.container.image

Demo Filebeat と Metricbeat のデプロイと ログ監視

Kubernetes メトリクスの監視

Kubernetes のメトリックスを収集 Deployment options Node 1 Node 2 Node n Metricbeat DaemonSet Metricbeat Metricbeat Metricbeat

Kubernetes メトリックスの集約 ./metricbeat modules enable kubernetes - Kubernetes モジュール pod と service の監視 - - メトリックスのソース - - Cluster、 pod、 container のメトリックス Auto-discovery によるアプリメトリックス Kubelet (heapster, cAdvisor) kube-state-metrics apiserver controller-manager scheduler proxy Prometheus module (beta) ⼀元的な Kibana UI

Kubernetes インベントリのビュー Kubernetes クラスターの俯瞰図

Kubernetes ダッシュボード Metricset 毎のダッシュボード

Metricbeat Autodiscover 動的なターゲットも残さずデータ収集する - - - コンテナ上でアプリを実⾏していると、 監視対象が動的になる Autodiscover により、設定の変化 にも柔軟に対応可能になる Template を指定する事で Autodiscover はコンテナの起動時 から監視ができる Node 1 Logs Nginx Metrics Elasticsearch

ヒントベース auto-discovery
-

-

Metricbeat はヒントを元にコンテナから取得す
べき情報を判断する
設定も⾃動で反映
-

-

次の⽂字列で始まる Pod の annotation か
Docker ラベルを元に hint を探す
9 種類のヒント
-

hints.enabled: true

Logs, Metrics, Modules

co.elastic.metrics
-

metricbeat.autodiscover:
providers:
- type: kubernetes

co.elastic.metrics/module
co.elastic.metrics/hosts
co.elastic.metrics/metricsets
co.elastic.metrics/raw
...

annotations:
co.elastic.metrics/module: prometheus
co.elastic.metrics/metricsets: collector
co.elastic.metrics/hosts: '${data.host}:9090'
co.elastic.metrics/period: 1m

Kubernetes アプリケーションパフォーマンスの監視

APM Logs + Metrics + APM の統合 オープンソース ⾔語＆エージェント Java, C#, Go, Node.js, Python, Ruby, RUM (React, Vue.js, Angular) 専⽤の UI 合理化された APM ワークフロー 分散トレーシング インデックス 他データと関連付ける Elastic stack の機能をフル活⽤

アプリ（MySQL, nginx, petclinic）のデプロイと Autodiscovery # Deploy MySQL DB kubectl create -f mysql/mysql.yml # Deploy petclinic and nginx kubectl create -f petclinic/petclinic.yml kubectl create -f nginx/nginx.yml # Observe the application components in Running state kubectl get pods kubectl get services

Demo アプリ（MySQL, nginx, Petclinic） のデプロイ

Prometheus メトリックを活⽤する ● ● ● ● ● MetricbeatのPrometheusモジュールでメトリックを捕捉、シッピング可能 /metrics エンドポイントを使⽤するか、Prometheus Federation API を使って、Prometheus サーバーに接続 収集済みのメトリックをプルすることにより、Prometheus が収集するメトリックを補⾜できる Prometheus エクスポーターを直接 Metricbeat に接続し、ゲートウェイをプッシュする⽅法もある ※ 詳しくは、Elastic StackとPrometheusメトリックに関するドキュメントをご覧ください。

• https://www.elastic.co/jp/blog/elasticsearch-observability-embracing-prometheus-and-openmetrics-standards-for-metrics
• https://www.elastic.co/jp/what-is/prometheus-monitoring

まとめ • • • • • • Filebeat & Metricbeat を使⽤してアプリケーションと Kubernetes のログとメトリックを収集 すぐにシステムとインフラストラクチャの監視を開始できる Elastic Cloud で Elasticsearch Service の無料トライアルにサインアップ 稼働したら、稼働時間モニタリングを使⽤してホストの可⽤性を監視 Elastic APM を使⽤してホストで実⾏されているアプリケーションを計測 新しいメトリックスクラスターと完全に統合された、完全に監視可能なシステム

リソース • サンプルソリューション Github レポジトリ ‒ • https://github.com/michaelhyatt/k8s-o11y-workshop 関連ブログ ‒ ‒ ‒ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-logmonitoring-and-analysis-elastic-stack https://www.elastic.co/blog/kubernetes-observability-tutorial-k8smetrics-collection-and-analysis https://www.elastic.co/blog/kubernetes-observability-tutorial-k8smonitoring-application-performance-with-elastic-apm

• https://github.com/michaelhyatt/k8s-o11y-workshop
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-log-monitoring-and-analysis-elastic-stack
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-metrics-collection-and-analysis
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-monitoring-application-performance-with-elastic-apm

Thank you for your attention!