Centralized Observability for the Azure Ecosystem

Azure エコシステムのための ⼀元的なオブザーバビリティ 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト デジタル庁 省庁業務グループ ソリューションアーキテクト

Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist デジタル庁 省庁業務グループ ソリューションアーキテクト 元 Microsoft Technical Evangelist

カスタマーエクスペリエンスの重要性 新規顧客の開拓、ロイヤルティと信頼の構築、そして⽣涯顧客の維持に不可⽋ 新しい顧客を獲得する お客様を逃さない お客様をサポートする

The Gallivant Web Shop

Architecture of The Gallivant Web Shop DevOps Engineer React Client SecOps Engineer Search Cart End user Catalog Ordering Internet Marketer End user Front End Engineer Actions Checkout Monitoring … Public Cloud Backend micro services Ship metrics & logs Elastic Stack

マイクロサービスアーキテクチャの採⽤はメリットも多いが、 同時に問題発⽣時の根本的な原因を⾒つけるのが難しくなる

顧客やビジネスに悪影響を及ぼす前に、異常をプロアクティブに 検出、特定できるソリューション – Observability の必要性 アプリケーションのダウンタイムとパフォーマンス低下の原因トップ5 37% 11% 変更 セキュリティ 31% 5% コードのバグ アップグレード 16% 移⾏ 出典 ： EMA

パブリッククラウドとオンプレミスにまたがる Observability 実現の必要性 オンプレミスもパブリッククラウドもハイブリッドクラウドもまとめて監視していきたい Serverless Application Insights App Service Azure Functions Azure DevOps Filebeat or Functionbeat ? Event Grid Others Azure Monitor Azure VM Kubernetes Service Filebeat Logstash Blob Storage Filebeat Or Functionbeat Custom Logs VM Flow Logs

The Elasticsearch Platform In a world where endless data creates endless possibility, search helps people and organizations thrive. Enterprise Search Observability Security Kibana Explore, Visualize, Engage Elasticsearch Store, Search, Analyze Integrations Connect, Collect, Alert Public cloud Hybrid On-premises

Azure 上で実⾏される Elastic サービスの幅広さ Solution guide Search, Analyze, and Secure your apps with Elastic on Azure • • Azure は、Elasticsearch、Kibana、 Logstash、Beats、その他 Elastic 関連 サービスをサポートし、統合 これらのツールを活⽤して、Azure 上の アプリケーションと IT の検索、分析、監視、 およびセキュリティを 実現

• https://acomportal.azure.net/files/resourcefiles/elastic-on-azure-solution-guide/Elastic on Azure solution guide_Final.pdf

Elastic on Azure https://azure.microsoft.com/ja-jp/overview/linux-on-azure/elastic/#overview Azure portal 内での緊密な Elastic 統合により、あらゆるソースからのデータを検索、分析、視覚化し、市場投⼊までの時間を短縮 運⽤を簡素化し、お客様の Azure 環境を最⼤限 に視覚化 • Azure 上のお客様のインフラストラクチャ、アプリ、 データの正常性、パフォーマンス、セキュリティを 監視する⽅法を効率化 • Azure portal 内で Elasticsearch の検索、 デプロイ、管理を簡単に⾏えるため、お客様が 必要なスピード、スケール、関連性を得られ、 お客様はビジネスに集中が可能 • Elastic on Azure でお客様のアプリや IT の 検索、分析、セキュリティを実現するには、こちらの ソリューション ガイドをお読みください – Private Link、ログ転送、Kibana ビジュアライゼーション

• https://acomportal.azure.net/files/resourcefiles/elastic-on-azure-solution-guide/Elastic on Azure solution guide_Final.pdf
• https://azure.microsoft.com/ja-jp/overview/linux-on-azure/elastic/

お客様の組織、Web サイト、アプリ全体の検索を簡素化する • Microsoft Teams、OneDrive、 SharePoint、Slack、Google Drive など のアプリケーション間で簡単に検索できるよう に、すべてのデータを単⼀のビューに統⼀し、 ⽣産性を⾼め、必要な関連情報をすばやく 取得 • Elastic App Search で Elasticsearch の導⼊を加速 • 最新の機械学習テクノロジー活⽤可能 • ベクトル検索、テキスト分類、データ 注釈、PyTorch、Hugging Face で データセットのモデルを教育 • すでに運⽤中の NLP モデルがある場合、 Elasticsearch に直接統合 • パワフルなサイトワイドサーチを実装することで、 顧客が探しているものをより早く⾒つけられる

Blazor x Cosmos DB サンプルアプリ構成 (CQRS) Azure App Service iOS/Android Mobile App Azure Functions Azure Cosmos DB データ保存 ASP.NET 6 Web API Blazor Change Feed Azure Functions で同期 Elastic APM Agent 東⽇本リージョン マスターノード x 1 データノード x 2 ML ノード x 1 全⽂検索クエリ ※ 検索・更新 UI Blazor WebAssembly VSCode Elastic エンタープライズサーチ 検索結果 ※ • 最新の機械学習テクノロジーを活⽤可能 • ベクトル検索やテキスト分類、データ注釈、PyTorch、 Hugging Face を使ってデータセットのモデルを教育 • すでに運⽤中の NLP モデルがある場合は、 Elasticsearch に直接統合 https://f79...c67.japaneast .azure.elasticcloud.com:9243/ Elastic Cloud Azure サブスクリプション

• https://f79...c67.japaneast.azure.elastic-cloud.com:9243/
• https://www.elastic.co/guide/en/apm/agent/dotnet/current/index.html

Elastic で監視システム (Observability) を構築 • ログ、メトリクス、APM トレース、および UX モニタリングデータを収集し、可視化することで、 Azure 環境の健全性とパフォーマンスの可視 性を得ることができる • 統⼀されたビューですべてのデータを分析する ことにより、より迅速な洞察を得ることができる • サービスのダウンタイム、エラー、応答時間の 低下、およびその他の望ましくない動作を 検出する • 機械学習とアラートを使⽤して、可⽤性を 確保しながら異常な動作を、特定および 評価する

Elastic APM • あらゆる種類のテレメトリーデータに対応する シングルエージェント • 全エージェントを対象とした集中管理および ポリシー設定 • OpenTelemetry のサポート • Dapr のサンプル実装（監視）参照 • 豊富な可視化機能とデータ探索機能により、 すぐに使える分析、その場限りの分析が可能

Azure 環境全般にわたる包括的なセキュリティ • 脅威の検出とハンティングの演習でアドホック な分析を⾏うための、⾼速でスケーラブル、か つ⼀元化されたセキュリティ分析プラットフォー ムで、お客様の環境を保護できる • お客様 Azure 環境に特化して構築された 検出ルールとアラートを使⽤して脅威を特定

Elastic Cloud によるパブリッククラウドと オンプレミスの Observability 実現 データをどこからでもどのルートでもインジェストして監視できる Serverless Application Insights App Service Azure Functions Azure DevOps Filebeat or Functionbeat Event Grid Others Azure Monitor Azure VM Kubernetes Service Filebeat Logstash Blob Storage Filebeat Or Functionbeat Custom Logs VM Flow Logs

Blazor WebAssembly x APM with Elastic Cloud on Azure Azure App Service ASP.NET 6 Web API Azure SQL Database CRUD Blazor WebAssembly AntDesign 全⽂検索クエリ Elastic APM Endpoint に送信 検索・更新 UI APM .NET Agent Elastic Cloud Visual Studio 2022 Azure Data Explorer https://f79...c67.japaneast .azure.elasticcloud.com:9243/ 東⽇本リージョン マスターノード x 1 データノード x 2 ML ノード x 1 Azure サブスクリプション

• https://f79...c67.japaneast.azure.elastic-cloud.com:9243/
• https://www.elastic.co/guide/en/apm/agent/dotnet/current/index.html

Spring Boot Sample App for Elastic Observability on Kubernetes (AKS) https://github.com/michaelhyatt/k8s-o11y-workshop 東⽇本リージョン マスターノード x 1 データノード x 2 ML ノード x 1 Azure Kubernetes Services Filebeat Metricbeat MySQL JavaScript Client (RUM) Node.js Elastic Cloud https://f79...c67.japaneast.azure.elasticcloud.com:9243/ APM SPA Agent Azure サブスクリプション

• https://f79...c67.japaneast.azure.elastic-cloud.com:9243/
• https://www.elastic.co/guide/en/apm/agent/rum-js/current/framework-integrations.html
• https://github.com/michaelhyatt/k8s-o11y-workshop

Azure Spring Cloud ログとの統合 • • • • Spring Boot は Java アプリケーションで 最も使⽤されているフレームワーク Azure Spring Cloud という完全な マネージドサービスが Marketplace で提供 Elastic ユーザーは Azure Spring Cloud から Elastic Cloud にシステム、コンソール、 およびアプリケーションログを取り込める Spring Boot アプリで発⽣する問題を継続 的に監視およびデバッグできる

ネイティブ統合の Next Step ● ● ● ● より多くの Region のサポート 多くの Azure サービスとのより 深い統合 Azure Active Directory との 統合 その他

(9/10~ 発売) エバンジェリスト/アドボケイトのコミュニティである DevRel Meetup、 その有志、中津川 篤司 ⽥中正吾 可知 豊 鈴⽊ 章太郎で書いた「エンジニアによるエンジニアのためのプレゼン本」は、 オフライン #技術書典 及びオンラインで購⼊可能︕ エンジニアのプレゼン知⾒、気になる⽅は是⾮︕ #DevRel #プレゼン #DevReljp

• https://www.facebook.com/goofmint?__cft__[0]=AZUikoxsUX_1Gz3TtbpI2UC0Oyy0H74jzIxXHZanxwPTfEeWmkmsPjC0GpfD4RhwRligdR8YuuSLOeCpt2PI3buJ3mTSNTD3xvRR28Ba0vGUPMmu1BDfmYeReT8xoWHq4x8QTDdtyJqoUHOdPdgboP3PgPp08bIuErGMMWUdYIwpTg&__tn__=-]K-R
• https://www.facebook.com/yutaka.kachi?__cft__[0]=AZUikoxsUX_1Gz3TtbpI2UC0Oyy0H74jzIxXHZanxwPTfEeWmkmsPjC0GpfD4RhwRligdR8YuuSLOeCpt2PI3buJ3mTSNTD3xvRR28Ba0vGUPMmu1BDfmYeReT8xoWHq4x8QTDdtyJqoUHOdPdgboP3PgPp08bIuErGMMWUdYIwpTg&__tn__=-]K-R
• https://www.facebook.com/hashtag/技術書典?__eep__=6&__cft__[0]=AZUikoxsUX_1Gz3TtbpI2UC0Oyy0H74jzIxXHZanxwPTfEeWmkmsPjC0GpfD4RhwRligdR8YuuSLOeCpt2PI3buJ3mTSNTD3xvRR28Ba0vGUPMmu1BDfmYeReT8xoWHq4x8QTDdtyJqoUHOdPdgboP3PgPp08bIuErGMMWUdYIwpTg&__tn__=*NK-R
• https://techbookfest.org/product/5X6ih6z4cVjPZrXMNfCyej
• https://www.facebook.com/hashtag/devrel?__eep__=6&__cft__[0]=AZUikoxsUX_1Gz3TtbpI2UC0Oyy0H74jzIxXHZanxwPTfEeWmkmsPjC0GpfD4RhwRligdR8YuuSLOeCpt2PI3buJ3mTSNTD3xvRR28Ba0vGUPMmu1BDfmYeReT8xoWHq4x8QTDdtyJqoUHOdPdgboP3PgPp08bIuErGMMWUdYIwpTg&__tn__=*NK-R

ElasticON Tokyo @ Westin Hotel Tokyo (2022/11/30) https://ela.st/icon-tokyo-2022

• https://ela.st/icon-tokyo-2022

Elastic リソース 1 公式ドキュメント https://www.elastic.co/guide/index.html Azure エコシステムのための⼀元的なオブザーバビリティ https://www.elastic.co/jp/observability/azure-monitoring Elastic APM Agent https://www.elastic.co/guide/en/apm/agent/index.html 優れた React 検索エクスペリエンスを迅速に構築する⽅法 https://www.elastic.co/jp/blog/how-to-build-great-react-search-experiences-quickly GKE/AKS/EKS Observability サンプルソリューション GitHub レポジトリ https://github.com/michaelhyatt/k8s-o11y-workshop 関連ブログ https://www.elastic.co/jp/blog/kubernetes-observability-tutorial-k8s-cluster-setup-demo-appdeployment https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-log-monitoring-and-analysis-elasticstack https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-metrics-collection-and-analysis https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-monitoring-application-performancewith-elastic-apm

• https://www.elastic.co/guide/index.html
• https://www.elastic.co/jp/observability/azure-monitoring
• https://www.elastic.co/guide/en/apm/agent/index.html
• https://www.elastic.co/jp/blog/how-to-build-great-react-search-experiences-quickly
• https://github.com/michaelhyatt/k8s-o11y-workshop
• https://www.elastic.co/jp/blog/kubernetes-observability-tutorial-k8s-cluster-setup-demo-app-deployment
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-log-monitoring-and-analysis-elastic-stack
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-metrics-collection-and-analysis
• https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-monitoring-application-performance-with-elastic-apm

Elastic リソース 2 優れた React 検索エクスペリエンスを迅速に構築する⽅法 https://www.elastic.co/jp/blog/how-to-build-great-react-search-experiences-quickly Building a search experience with Elastic TMDB https://www.elastic.co/jp/blog/building-a-search-experience-with-elastic Natural Language Processing https://www.elastic.co/guide/en/machine-learning/current/ml-nlp.html Elastic Stack 8.0 の NLP で⽇本語センチメント分析を試してみた - 前編 https://qiita.com/ijokarumawak@github/items/9b0c2d650536488718a5 Elastic Stack 8.0 の NLP で⽇本語センチメント分析を試してみた - 後編 https://qiita.com/ijokarumawak@github/items/6cc714060090160cf2d5 Elastic Cloud 無償評価14⽇間登録 https://cloud.elastic.co/registration

• https://www.elastic.co/jp/blog/how-to-build-great-react-search-experiences-quickly
• https://www.elastic.co/jp/blog/building-a-search-experience-with-elastic
• https://www.elastic.co/guide/en/machine-learning/current/ml-nlp.html
• https://qiita.com/ijokarumawak@github/items/9b0c2d650536488718a5
• https://qiita.com/ijokarumawak@github/items/6cc714060090160cf2d5
• https://cloud.elastic.co/registration

Thank you for your attention!

Appendix

顧客の位置情報と脅威を視覚化する • Azure上の Elastic Maps で地理空間 データを分析 • Elasticsearch のデータを横断的にクエリし、 関連付けることで、複数のインデックスをユニー クなレイヤーとして単⼀のビューで可視化

Esri builds flexible mapping managed service in the cloud Products and Services Microsoft Azure Container Service Azure IoT Suite To meet the mapping needs of customers in an Internet of Things (IoT) age, Esri has created a cloud-based, geographical information system (GIS) managed service using Microsoft Azure Container Service, Microsoft Azure IoT Suite, Mesosphere Enterprise DC/OS, and microservices. With this new cloud platform, Esri can help customers visualize data from millions of sensors in real time. It can also get customers up and running much faster, ensure great performance and reliability no matter the data load, and attract new customers with enormous data-mapping problems. Esri は Elasticsearch とカスタマイズされたプラグインを活⽤して、 Azure でホストされている⾃社のマップ サービスの空間データ集計の開発を加速 https://customers.microsoft.com/ja-jp/story/esri Organization Size Employees: 3,200 Industry Country Professional services United States Business Need Big data/IoT

• https://customers.microsoft.com/ja-jp/story/esri

アプリ概要︓Elastiflix https://www.elastic.co/jp/blog/building-a-search-experience-with-elastic • 本社 Principal Product Marketing Manager が作成し、 上記ブログで公開 • Elastic が開発者に豊富な検索ソリューションを構築する⼒を 与える⽅法を紹介するエンドツーエンドのデモ • Enterprise Search Python ライブラリを使⽤して Elastic Enterprise Search にデータを取り込む • 無料のオープンソースツールである Search UI を使⽤して React で最新の UI を作成する Elastiflix は、インターネットムービーデータベース The Movie Database （TMDB）から 公開されているデータを使⽤した Web ベースのユーザーインターフェイスを提供する架空のビデオ ストリーミングサービス会社です。 Elastiflix は、Elastic Cloud に格納された TMDB データのインデックス付きコピーからデータを クエリするメカニズムを提供します。 優れた検索エクスペリエンスを提供するために、当該データに対する、⾼パフォーマンスで柔軟な 管理とクエリを可能にします。

• https://tmdb.org/
• https://www.elastic.co/jp/blog/building-a-search-experience-with-elastic
• https://www.elastic.co/guide/en/enterprise-search-clients/python/current/overview.html
• https://www.elastic.co/enterprise-search/
• https://www.elastic.co/enterprise-search/search-ui

Elastic 8.4 リリースの新機能をご紹介 (9/14) ~ 検索、解決、成功を導く 8.4 ~ https://www.elastic.co/jp/virtual-events/whats-new-in-elastic-8-4 Elastic 8.4 では、かつてないほど⼿軽にデータをアクション可能なインサイトに変換することが可能になりました。Elastic Search Platform と検索、セ キュリティ、オブザーバビリティのための3つの内蔵ソリューションに導⼊された広範な新機能を体感しましょう。かつてないほど⼿軽に、データをアクション可能なイ ンサイトに変換することが可能になりました。Elastic 8.4 の新機能はすべて、Elastic が最新リリースを提供する唯⼀のマネージドサービス、Elastic Cloud で今すぐ使いはじめることができます。

• https://www.elastic.co/jp/virtual-events/whats-new-in-elastic-8-4

Flutter x Firebase サンプルアプリ構成 (CQRS) プロジェクト iOS Mobile App Flutter Cloud Function Firebase Firestore データ保存 Cloud Function で同期 Android Mobile App Flutter Elastic エンタープライズサーチ 全⽂検索クエリ https://google-cloud-daydigital-2021.es.asianortheast1.gcp.cloud.es.io :9243 検索結果 northeast1-b リージョン マスターノード x 1 データノード x 2 ML ノード x 1 VSCode Elastic Cloud

• https://google-cloud-day-digital-2021.es.asia-northeast1.gcp.cloud.es.io:9243/

Firebase 全⽂検索 https://firebase.google.com/docs/firestore/solutions/search?provider=elastic 全⽂検索 ほとんどのアプリでは、ユーザーがアプリのコンテンツを検索できるようになっています。たとえば、特定の単語を含む投稿や、特定のトピックに ついて書いたメモを検索する、といったケースが考えられます。 Cloud Firestore では、ネイティブ インデックスの作成やドキュメント内のテキスト フィールドの検索をサポートしていません。 さらに、コレクション全体をダウンロードして、クライアントサイドでフィールドを検索することは現実的ではありません。 Cloud Firestore データの全⽂検索を有効にするには、専⽤のサードパーティの検索サービスを使⽤します。これらのサービスは、単純なデ ータベース クエリで実現できる機能をはるかに上回る、⾼度なインデックス作成と検索の機能を提供します。 続⾏する前に、調査して以下の検索プロバイダのいずれかを選択してください。 ● ● ● Elastic Algolia Typesense

• https://firebase.google.com/docs/firestore/solutions/search?provider=elastic
• https://www.elastic.co/app-search/
• https://www.algolia.com/
• https://typesense.org/

Firebase/Firestore ⽤ Elastic App Search 統合 https://www.elastic.co/jp/blog/accelerate-search-experiences-with-elastic-app-search-and-google-firebase Firebase 統合 なぜこれが重要なのか - アプリケーション内で効果的な検索エクスペリエンスを 構築することは困難 ユーザーは、ストアで商品を検索する場合も、サポート サイトの記事を検索する場合も、会社のブログに投稿 する合でも、迅速な結果を期待 拡張機能を使⽤して⾼速でスケーラブルで関連性の ⾼い検索エクスペリエンスを Firebase モバイルおよび Web ベースのアプリケーションに簡単に組み込める アプリケーションに検索を追加する⽅法と、数回クリック するだけで開始する⽅法の詳細 Elastic 7.15 新機能 Elastic App Search エンジン作成と Firebase からのドキュメント受信の設定 Google Firebase 拡張機能ディレクトリ の Elastic App Search 拡張機能 https://firebase.google.com/products/extensions/firestore-elastic-app-search/

• https://www.elastic.co/jp/blog/accelerate-search-experiences-with-elastic-app-search-and-google-firebase
• https://firebase.google.com/products/extensions/firestore-elastic-app-search/

Flutter x Firebase サンプルアプリ構成 (CQRS) プロジェクト iOS Mobile App Flutter Cloud Function Firebase Firestore データ保存 Firebase/Firestore ⽤ Elastic App Search 統合拡張機能 でノンコーディングで実現︕ Cloud Function で同期 Android Mobile App Elastic エンタープライズサーチ App Search 内蔵の Reference UI で Flutter Web 版 React アプリの雛形⾃動⽣成 全⽂検索クエリ https://google-cloud-daydigital-2021.es.asianortheast1.gcp.cloud.es.io :9243 検索結果 northeast1-b リージョン マスターノード x 1 データノード x 2 ML ノード x 1 VSCode Elastic Cloud

• https://google-cloud-day-digital-2021.es.asia-northeast1.gcp.cloud.es.io:9243/

Blazor x Cosmos DB サンプルアプリ構成 (CQRS) iOS/Android Mobile App Azure App Service データ保存 Blazor ASP.NET 6 Web API Elastic APM Agent 検索・更新 UI Blazor WebAssembly Change Feed Azure Functions で同期 東⽇本リージョン マスターノード x 1 データノード x 2 ML ノード x 1 Elastic エンタープライズサーチ 全⽂検索クエリ https://f79...c67.japaneast .azure.elasticcloud.com:9243/ 検索結果 Azure Static Web Apps VSCode Azure Functions Azure Cosmos DB Elastic Cloud Azure サブスクリプション

• https://f79...c67.japaneast.azure.elastic-cloud.com:9243/
• https://www.elastic.co/guide/en/apm/agent/dotnet/current/index.html

AWS サーバーレスログインジェストでインサイトを⾼速化 Lambda 関数を使って S3 から Elastic にログを取り込む ポイント • • • • サーバーレスアーキテクチャが主流に 開始時のエクスペリエンスを簡素化し、データ オンボーディングの摩擦を低減 AWS サーバーレスアプリケーションリポジトリ (SAR) でのアプリケーションの発⾒性 クラウドネイティブな統合体験に対する顧客の 強い関⼼

AWS Serverless ログインジェストアーキテクチャー

Elastic Agent による AWS CloudWatch ログインジェスト CloudWatch のログから直接読み取る ポイント • お客様のニーズに応える • インジェストアーキテクチャを簡素化し、AWS の 運⽤コストを削減 Simplicity and Choice

AWS S3 Storage Lens の統合 S3 の使⽤状況とアクティビティメトリクス ポイント • • • ストレージの使⽤率とコスト効率の最適化 他のアプリケーションメトリクス、セキュリティイベント、 システムログと合わせてデータを統合し、分析する。 OOTB Kibana ダッシュボード