617 Views
September 14, 22
スライド概要
Elastic 8.4 リリースの新機能をご紹介 (9/14)~ 検索、解決、成功を導く 8.4 ~
https://www.elastic.co/jp/virtual-events/whats-new-in-elastic-8-4
FPT ジャパン エグゼクティブエバンジェリスト 独立行政法人 国立印刷局 デジタル統括アドバイザー兼最高情報セキュリティアドバイザー Microsoft で13年間、テクニカルエバンジェリストとして .NET、C#、Visual Studio、Windows、iOS、Android、Microsoft Azure 等の開発者向け技術啓発活動 (DevRel) 。Dell、Accenture、Elastic、VMware 等での DevRel 後、2024年11月1日より現職で DevRel 活動を開始。NVIDIA との戦略的協業 AI GPU クラウド、Azure/AWS/GC 上の AI &データ関連サービスのマーケティング、プリセールス、教育、関連新規サービス開発。元内閣官房 IT 総合戦略室 政府 CIO 補佐官(兼務)、元デジタル庁 ソリューションアーキテクト(兼務)。
Elastic 8.4 リリースの新機能をご紹介 ~ 検索、解決、成功を導く 8.4 ~ 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト デジタル庁 省庁業務グループ ソリューションアーキテクト
Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist デジタル庁 省庁業務グループ ソリューションアーキテクト 元 Microsoft Technical Evangelist
Highlight : • Elastic Enterprise Search Elastic 8.4 リリースでは新世代 Web クローラーとコネクターが登場し、Elastic エンタープライズサーチのデータインジェスト オプションがますますフレキシブルになりました。また性能強化に伴い、ネイティブベクトル検索機能のサポートも開始しています。 まさに“探しているもの”をいつでもあらゆる場⾯で⾒つけることが可能になり、ビジネスに⼤きなメリットをもたらします。 Elastic Observability Elastic 8.4 リリースでは、AIOps のアラートとインシデントの管理や共同作業向けに専⽤のコントロールプレーンが登場し、 アラートやインシデントの管理を⼀層スマートに⾏うことができるようになりました。 この性能向上は、問題の早期解決に貢献します。 Elastic Security Elastic 8.4 リリースでは、専⽤に開発された⾃動化インターフェース、パワフルな新規の⾃動アクション、 セキュリティオーケストレーションの追加や、SOAR(セキュリティのオーケストレーションと⾃動化によるレスポンス)パートナーシップ エコシステムの継続的な強化を通じて Elastic セキュリティのレスポンスが⾼速化されています。
情報の転送 8.4 Enterprise Search
Vector Search
Vector 検索︓ _searchに追加 kNN 検索、フィルタリング、ハイブリッドオプションが利⽤可能 ● ● 検索ユーザーにとってより⾝近な kNN ○ 使い慣れた _search の中で Vector 検索ができる ○ 検索⼿法をシームレスに組み合わせることができる 詳しくはプラットフォーム TOI をご覧ください
Vector 検索︓ _searchに追加
POST image-index/_search
{
"query": {
"match": {
"title": {
"query": "mountain lake",
"boost": 0.9
}
}
},
"knn": {
"field": "image-vector",
"query_vector": [54, 10, -2],
"k": 5,
"num_candidates": 50,
"boost": 0.1
},
"size": 10
}
score = 0.9 * match_score + 0.1 * knn_score
Interoperability
幅広い検索機能の実装 デベロッパー ツールを求める Searchpowered apps Embedded search Marketplace Ecommerce search Internal workplace search 同じような⼟台を共有する、 ニーズと要求の勾配 Website search Customer service search ソリューションを 模索する
ユースケースはよりコンポジット性を求める Searchpowered apps デベロッパー ツール 強⼒なビルディングブロック、 究極の柔軟性と コンフィギュレーション 密なベクトルフィールド 複合フィールドクエリ インジェストパイプラインとML/NLP データ階層 検索可能なスナップショット ピン留め結果クエリ Kibana レンズ ランタイムフィールド Embedded search Marketplace Ecommerce search Internal workplace search 中間の 健康的なミックス Website search Customer service search ソリューション ターンキー、フォーカス、ビジネス ユーザー、ガードレールは抽象化 されたものから⽣まれる オンボーディングの簡素化 ウェブクローラー コネクター 関連性設定ダッシュボード 検索UIライブラリ 検索アナリティクス キュレーション ⾃動関連性チューニング
THE VISION あらゆる検索に対応するワンストップサービス Searchpowered apps Embedded Search Marketplace Retail/ Search Ecommerce Workplace Search Site Search via Every feature available to every index Dense Vector Fields Simplified Onboarding Combined Fields Query Web Crawler Ingest Pipelines Connectors Data Tiers Relevance Config Dashboard Searchable Snapshots Search UI Library Pinned Results Query Search Analytics Kibana Lens Curations Runtime Fields Automated Relevance Tuning Customer Service Search
Build phase Ingest Indexing API Client libraries Drag-drop upload Web crawler Data connectors Operate phase Configure relevance Build UI / Integrate View analytics Optimize results Language-optimized engines Baseline relevance tuning Query workbench Pre-trained semantic models API keys Search APIs Client libraries Search UI Query volumes Query keyword reports Click tracking Curations Synonyms Relevance tuning Adaptive relevance 各ステップには、それぞれ独⾃のツールが必要ですが、これらを統合することで、インサイト・トゥ・アクションを促進します。
検索に最適化された Elasticsearch インデックスの作成 検索可能なデータをクロールまたは接続する ● ドライバ ○ ● Enterprise Search の統合カタログはすべての Elastic ユーザが利⽤可能 価値 ○ ○ ● ● 検索可能なデータの取り込みから始まる検索エクスペリエンス を構築するための⾼度にコンポーザブルなツール MongoDB と Gitlab のためのコネクタクライアントが新しい ユースケースを可能にする ライセンス: Basic+ リリース状況 Web Crawler は GA、コネクタフレームワークは Tech Preview
Web crawler による PDF 抽出がGA PDF や Office ⽂書などのバイナリーコンテンツをクロールする ● ドライバ ○ ● PDF などのダウンロード可能な添付ファイルに含まれる コンテンツのクローリングは、ウェブサイトにとって⼀般的 なユースケース 価値 ○ ● ● 当社の抽出戦略は、プラットフォームの基本機能 ( 定義済みインジェストパイプラインなど)を利⽤し、 クロールされたデータに柔軟性と拡張性を付与 ライセンス: Basic+ リリース状況 GA
Elasticsearch のインデックスベースエンジンのベータ版が登場 Elasticsearch のインデックスから App Search エンジンを作成する ● 既存インデックスに対する App Search の検索機能 ○ ● ● ● ● ○ 分析、ログ、関連性管理のUIが組み込まれている 既存のインジェストメカニズムを維持 Crawler / Workplace Search コンテンツソース 統⼀された検索ツールの始まり 現在ベータ版/Basic+で提供中 オブジェクト/ネストされたフィールドの読み込みをサポート
_search for App Search :現在 Beta 版 App Search Engine のための Elasticsearch クエリ DSL ● ● ● App Search で使える Elasticsearch の機能 : ○ Aggs, Runtime Field, more_like_this, 等 よりコンポーザブルな検索ツール ○ アナリティクス、ロギング、監査ログ 現在 Beta 版 / Basic+で提供中 ○ 機能フラグを設定する ○ ⚠APIコールの構造が変更になりました
_search for App Search :現在 Beta 版 API 構造を変更 POST …/api/as/v0/engines/{name}/elasticsearch/_search … { "request": { "body": {"query": {"match_all": {}}}, "query_params": [ {"key": "size", "value": "0"} ] }, "analytics": { "query": "mountains", "tags": ["mountains"] } } POST …/api/as/v0/engines/{name}/elasticsearch/_search?size=15 … X-Enterprise-Search-Analytics: mountains X-Enterprise-Search-Analytics-Tags: mountains { "query": {"match_all": {}} }
Roadmap
インターオペラビリティへの道のり 7.16 から始まる Kibana での Enterprise Search 8.2 8.4 8.5+ 8.6+ Elasticsearch engines and _search (tech preview) Search-optimized indices; Elasticsearch engines and _search (beta) Accessible ML tooling for search use cases and native connectors Search engines, unified search endpoint, and improved analytics Apr 2022 Aug 2022 Fall 2022 …and beyond
Appendix
技術的な詳細 Crawler, Connectors & API Integrations ● Web クローラー、コネクター、API の統合は、Enterprise Search APIではなく、 Elasticsearch インデックス API と直接連動するため、新しいインデックスドキュメント のサイズ制限が適⽤される場合があります。 ● これらの取り込み統合は、App Search と互換性のあるマッピングで初期化された Elasticsearch インデックスを作成し、特に Elasticsearch インデックスベースの エンジンと組み合わせた場合に、検索を最適化したエクスペリエンスを可能にします。 ● コネクタフレームワークは、コネクタの構築を検討しているお客様向けに、Ruby ベースの コネクタクライアントである MongoDB とGitlab を提供します。コネクタフレームワーク を利⽤したコネクタは、インデックス化されたデータを Elasticsearch にプッシュする プッシュベースのアーキテクチャをベースにしています。 ● SharePoint Online や Confluence Cloud など、以前から提供されていたコネクタ パッケージはコネクタレポの 8.3 ブランチにあり、引き続き pull ベースのコネクタフレーム ワークアーキテクチャで動作しています。
技術的な詳細 Web クローラー vs App Search Web クローラー ● Web Crawler は App Search Web Crawler とは別物で、Enterprise Search 8.4 には両⽅存在し、リリースを重ねるごとに Web Crawler のみの提供に移⾏予定です。 ● Web クローラは、HTML とバイナリの両⽅のコンテンツを ent_search_crawler で定義さ れたインジェストパイプラインに送ります。App Search の Web クローラは、バイナリコンテンツの みを app_search_crawler のインジェストパイプラインに送ります。 ● ウェブクローラーには、外部顧客向けの API はありません。url デバッガなどの機能へのプログラム によるアクセスについては、顧客は本リリースで App Search Web クローラーを引き続き使⽤ する必要があります。 ● Kibana ユーザーがクローラーを設定するには、作成された search-* インデックスに対する インデックス管理権限が必要で、 enterprise-search-app-search-owner ロールの 対象外です。 ● 抽出のために、ingest attachment pluginではなく、Apache Tika 2.4 による Elasticsearch モジュールを使⽤するようになりました。
技術的な詳細 新しいユーザーワークフローで検索に最適化されたインデックスを作成する
サポート 既存のツールも残っており、引き続き有⽤ ● スタック監視、監視ダッシュボード、APMサポート、監査ログを提供 し、トラブルシューティングに対応 ● 8.4 リリースノートと新しいクローラー/コネクターのドキュメント ● 8.4 では、新しくリリースされたウェブクローラーはUIのみとなり、プロ グラムによるアクセスは次のリリースで対応されます。8.4 では、プロ グラムによるアクセスのニーズは App Search ウェブクローラーで満 たす必要があり、App Search のマネージドエンジン (例: url debugger) でアクセス可能である。 ● ウェブクローラーは監査ログをサポートしていないため、監査ログのサ ポートにはApp Searchウェブクローラーを使⽤する。監査ログのサ ポートは、将来のリリースで追加される予定です。
Github Tickets ● GitHub connector rate limiting error 対応中の 既知の問題点 ● ● behavior crawl result title in body enterprise_search user does not have permissions to manage ingestion indices Workarounds / Plan to Fix ● Releasing a fix in 8.3.4 ● Targeting next release ● Users should add index manage privilege to the user account or create a new one with the correct privilege
Enterprise Search - 8.4 機能概要 特⻑ ティア&ステータス 詳細説明 ビジネスバリュー コネクターの構築 Basic / Standard Tech Preview Connector Service を活⽤して、お客様の選択 したデータソースから検索に最適化された Elasticsearch インデックスにドキュメントをインデッ クスするためのコネクタを構築します。 お客様は、カスタムデータソースの開発を加速し、その コードを Elastic Cloud によって管理されるネイティ ブコネクタに昇格させることができます。 Web クローラー Basic / Standard Web クローラーを使って、検索に最適化された Generally Available Elasticsearch のインデックスにドキュメントをイン デックスすることができます。 Workplace Search など、ユースケースを拡⼤した 検索に Web クローラーを利⽤可能 API によるインデックス作成 Basic / Standard Elasticsearch ⾔語クライアントで、検索に最適 Generally Available 化された Elasticsearch インデックスに直接イン デックスを作成することができます。 Enterprise Search を使⽤した API 経由のイン デックス作成により、App Search で関連性が⾼く 直感的な検索体験を構築するために最適化された インデックスが作成されます。 Elasticsearch サーチエンジン Basic / Standard Beta App Search を使って、あらゆる Elasticsearch Web クローリングデータと Workplace Search の インデックスでの検索エクスペリエンスを構築し、調整 コンテンツソースを1つの検索エクスペリエンスで統⼀ することができます。 できます。 App Search のための _search Basic / Standard Beta App Search エンジンの Elasticsearch クエリ DSL と _search の機能。 App Search Webクローラー & Web クローラー Basic / Standard 両⽅の Web クローラーに対するバイナリコンテンツ Generally Available 抽出は GA。 より複雑なユースケースに対応するため、App Search を開放 / Elasticsearch ユーザー向け 設定可能なインジェストパイプラインにより、より多くの バイナリコンテンツを検索可能なデータとして抽出する ための柔軟性と拡張性を提供します。
情報の転送 8.4 Observability
Application Observability
Open Telemetry のネイティブオンボーディング 他の APM エージェントと同様に、Otel インストゥルメンテーションのオンボーディング をガイドする ● ドライバ ○ ○ ● Elastic APM、Open Telemetry をネイティブ サポート Otel アプリケーションのインスツルメンテーションを Elastic APM エージェントと同等にします。 価値 ○ ○ Standard/Basi Standard/Basic c Otel 戦略を追求するお客様にとって有益 オープンスタンダードをサポートする Elastic の継続的な コミットメントを⽰すものです。 GA
誤操作時の RCA を改善 トランザクショングループへの影響に基づくエラーの優先順位付け ● ドライバ ○ エラーの詳細に対する追加のコンテキストを 提供する ○ 特定のエラータイプによって最も影響を受ける トランザクショングループの特定 ● 価値 ○ SRE とアプリケーション開発者の利点 ○ エラー画⾯をより実⽤的なものにする ○ エラーから影響を受けるトランザクションへの ナビゲートが容易になる Standard/Basic GA
APM UX におけるサービスのための コンテキストに基づいたインフラメトリクス アプリケーションの問題と基礎となるインフラストラクチャの相関関係を特定 ● ドライバ ○ ○ ● APM におけるインフラ指標へのアクセ ス性の向上 アプリケーションの問題は、基礎となるインフラとどのように 関連しているか 価値 ○ ○ ○ Standard/Basic Enterprise Platinum Gold OSS SRE と運⽤チームの利点 問題の迅速な RCA APM とインフラストラクチャのメトリクスの⼀元化 GABeta 4/02
技術的な詳細とサポート性 コンテクスチュアル・インフラストラクチャーの指標 ● ● ● ● ● ● デフォルトで有効なフィーチャーフラグ Kibana -> スタック 管理 - > 詳細設定 -> Observability -> インフラ機能 infra タブを選択すると、APM は apm-metrics のデータ から container.id、kubernetes.pod.name、 host.hostname を 確認する。 container.id が⾒つかった場合、infra-metrics に問い 合わせ、infra-metrics のデータから追加の詳細とメトリクス を返す。 container.id が⾒つからない場合、host.hostname がinfra-metrics に渡され、関連するデータが返され表⽰ される。 重要: Infra-metrics から来る Infrastructure データ の結果、APM メトリクスと infra タブの間でホストのデータが 不⼀致になることがあります。 既知の問題 ポッド名が pod.name ではなく host.name として報告される - 8.5 で修正予定
APM におけるコンテクスチュアルアラート サービスオーバービューからアラートにすぐにアクセス可能 ● ● ドライバ ○ インコンテキストアラートをサービス概要に取り込むことで RCA を加速します。 ○ サービス関連アラートへのソリューション内アクセスを提供 します。 価値 ○ Standard/Basi Enterprise Platinum Gold OSS c メトリクスやエラーなどとともに関連するアラートを表⽰する ことで、トラブルシューティング/トリアージ/RCA 活動に従事 しているすべての顧客にメリットをもたらします。 GA 4/02 Beta
バックエンドの依存関係のパフォーマンス監視を強化 RCA に深みのあるレイヤーを追加 ● ドライバ ○ ● バックエンドへの依存は、しばしばアプリケーション の問題の原因となります。 価値 ○ Standard/Basic バックエンドオペレーション(スパン)に粒度 (メトリクス、エラー、トレース)を追加することで、 開発者と SRE に深いレベルのトラブル シューティング能⼒を提供します。 Tech Preview
Actionable Observability
GA of Rules and Alerts(ルールとアラート) O11y アラート、ルールビューは GA ● ドライバ ○ ○ ● 技術プレビュー(v7.16以降)の特⻑ その後、いくつかの改良が加えられ、堅牢で機能豊富な ビューが実現しました。 価値 ○ O11y 特有のルール、アラート、ケースに簡単にアクセス でき、O11y UI で管理できます。 ○ ○ 包括的なフィルタリング、検索をサポート Standard/Basic ルールの実⾏履歴による効果的なルール管理 GA
ルール管理の改善 ルール詳細ビューの改善 ● ● Standard/Basic 過去30⽇間に発⽣したアラートの数、ステータス、 タイムラインを⼀⽬で確認できるアラートサマリー ウィジェットを追加。 バルクアクションのサポート、UI パネルの⼀貫性、 新デザインのタグコールアウトなど、その他のUIを 複数改良 GA
Infrastructure Observability
Kubernetes ダッシュボード カスタマイズ可能なダッシュボード ● ● ドライバ ○ Kubernetes から収集されたシグナルの相関は、クラスタの 状態を理解するために重要 ○ 異なるリソースセントリックなビューが必要 ○ ○ ○ クラスターの状態を理解するクラスター運⽤者 価値 Standard/Basic 概要とリソースセントリックビュー ダッシュボードはすぐに使⽤でき、レンズのドラッグ&ドロップや スマートサジェスト機能を使って⾼度なカスタマイズが可能 GA
Kubernetes を⼀つに統合 オンボーディングの複雑性を軽減 ● ● ドライバ ○ ユーザーは、Kubernetes クラスターを観察したいインフラ・ エンティティの1つとして⾒ている ○ Kubernetes ネイティブインフラ観測可能シグナルの活⽤ 価値 ○ Kubernetes を統合するための選択の複雑さを軽減する ことで、オンボーディングを容易にする ○ ユーザーがデータを収集したいコンポーネントを選択する 柔軟性を与える Standard/Basic GA
技術的詳細 Kubernetes ダッシュボード ● 15種類のダッシュボードを⽤意し、さまざまなリソース中⼼の ● ビューを実現 データは Kubernetes のアウトオブザボックスコンポーネント から取得 ○ kubelet、apiserver、controller-manager、scheduler 、proxy ● ダッシュボードは Kibana レンズを使⽤して作成 ○ ドリル可能なオプション ○ ドラッグ&ドロップやスマートサジェスト機能でカスタマイズ可能 Kubernetes を⼀つに統合 ● ● パッケージの変更はなく、UI 検索のみ つまり、以前にいずれかのグラニュラーバージョンをインストールして いたユーザーにはアップグレードの影響はありません
サポート性 Kubernetes ダッシュボード ● 完全な機能のためには、ユーザーは kube-statemetrics をインストールする必要があります ○ これは、すぐに使える Kubernetes コンポーネントでは ありません Kubernetesを⼀つに統合 ● ● パッケージの変更はなく、UI 検索のみ つまり、以前にいずれかのグラニュラーバージョンを インストールしていたユーザーにはアップグレードの 影響はありません
IIS 統合 IIS サーバーのパフォーマンスを監視する ● ● ドライバ ○ IIS 上で動作する Web サービスの IIS および .NET メトリクスを監視し、可視化します。 ○ ユーザーエクスペリエンスに影響がある場合、アラートを表⽰ 価値 ○ ○ Standard/Basic 各ウェブサーバプロセスグループの深いレベルでの可視化 ホストと NW のメトリクスと Web サーバー固有のメトリクスを 関連付け、より優れた障害切り分けを実現 GA
技術詳細 - IIS GA ● ● ● ● ● 新しく移⾏された IIS GA 統合は、application_pool、 website 、Web サーバ のメトリクス、およびアクセスログとエラーログをサポートします。 GA への移⾏に先⽴ち、様々なログフォーマットに関するIIS統合の最近の複数の重要 な問題が修正されました。 予期しないパイプラインエラーの問題 IIS 10 ログフォーマットのサポート IPv6 ログの解析サポート
Supportability - IIS GA ● バージョン7.5、8、10のログで統合をテストしています。 ● IIS のアクセスログは、現在広く使われている IIS(W3C) ログ形式のみをサポートしています。
vSphere との統合 システムから⾒た VM の健全性と パフォーマンスの監視 ● ドライバ ○ ● 仮想化構成がアプリケーションサーバーとエンドユーザー エクスペリエンスに与える影響をご覧ください。 価値 ○ 仮想マシン間の最適な分割とパフォーマンスの割り当て を保証します。 ○ 仮想化およびアプリケーション層における問題を検出し、 根本原因を突き⽌めます。 Standard/Basic GA
技術的な詳細 - vSphere GA ● ● ● ● この統合は、Govmomi ライブラリを使⽤して、任意の VMware SDK か らメトリックとログを収集します。 統合は、データストアオブジェクト(容量の詳細)、仮想マシン(CPU とメモ リの詳細)、ホストシステム(OS の詳細)および vSphere ログのメトリク スを取得する。 GA リリースでは、データストアの実装上の問題(メトリクスが⽣成されない) が修正されました。 また、ホストのデータストリームに追加されるメトリクスは、ほんの⼀握りです。
サポート性 - vSphere GA ● メトリクスを⽣成するためには、ホストとポート(8989)を正しく 渡す必要があります (例︓https://host:port(8989)/sdk )。 ● このインテグレーションは Govmomi VCSIM シミュレータの みでテストされており、実際の vSphere インストール上では テストされていません。シミュレータは ESXi、vCenter 6.5、 6.7、7.0に対して構築され、テストされています。 ● シミュレータではテストできない既知のギャップがあり、今後の テストでターゲットにされる予定です。これは、vSphere の インストールテストと⼀緒に⾏われる予定です。 ● また、今後、新しいパフォーマンス・データ・ストリームも計画 されています。
スタック監視 - Health API サポート診断ユーティリティと統合 ● ドライバ ○ ● 設定された Kibana のスタック監視の健全性/状態を判断する ために、あらかじめ決められたクエリを実⾏するエンドポイントです。 価値 ○ Standard/Basic トラブルシューティングを容易にし、サイクルタイムを短縮する。 GA
サポート性 - Health API ● Health API ルートは 8.3.1 でマージされ、サポート診断 ツールにオンボードされるようになり、サポートされたバージョン に対してツールを実⾏する際に⾃動的にクエリされるようにな りました。
Synthetics & RUM
Infrastructure and Application Monitoring External Dependencies Front End Monitoring Active Synthetic Monitoring First Party Infrastructure and Dependencies Internet Passive Real User Monitoring
ブラウザベースの合成エージェント マネージドテスティングインフラ ポイント&クリックスクリプトの収録 レポーティング&アナリティクス UI Observability への深い統合
サービスの仕組み 現在、すべての Observability ベンダーがシンセティクスを提供している (トランザクションの監視とパフォーマンスにフォーカス) Dynatrace シンセティックモニタリング Web アプリを監視したい Datadog ⾃動合成モニタリング New Relic Synthetics テストスクリプトの作成︓UI、レコーダー、 またはJavaScriptで⼿書きで作成 AppDynamics ブラウザ合成モニタリング 定期的なテスト実⾏のスケジュール 選択された地域からテストする その他多くの Synthetics ベンダー、異なるフォーカス... Splunk Synthetic Monitoring - Rigor(厳密なモニタリング) Speedcurve (ウェブアプリケーションパフォーマンスにフォーカス) EggPlant (CX、パフォーマンス、負荷にフォーカス) Canada UK Japan Australia サービス上の エフェメラルポッドで 実⾏される テスト Akamai CloudTest (負荷テストにフォーカス) BrowserStack、SauceLabs (QA、クロスブラウザにフォーカス) ... ビルディングブロック︓ヘッドレスブラウザを⾃動化するためのツール Elastic Stack お客様のクラウドに保存さ れた結果 Elastic Stack Playwright、Puppeteer|歴史的な︓Selenium、phantomjs
マネージドテスティングサービスと Elastic Cloud の⽐較 ● ● ● ● ● インフラストラクチャの構築、管理、セキュリティ、継続的なキャパシティプランニングは Elastic が担当 ○ お客様は単に”チェックボックス”にチェックを⼊れるだけで、基盤となるインフラを⾒ることはできない インフラストラクチャがマルチテナント型であるのに対し、シングルテナント型のスタック展開で ある インフラストラクチャはグローバルに配置され、単⼀地域には配置されない インフラが定期的にテストを実⾏し、データを送り返すのに対し、単にソースから取り込む (現在の Beats モデル) テスト結果のデータは管理対象インフラに保存されない
Synthetics はどのように請求されるのですか︖ ● パブリックベータ期間中 ○ ○ ● テスト実⾏のための追加コストなしで運⽤ テスト実⾏により⽣成されたデータは、他のデータと同様に課⾦されます。 1.0のローンチ後 ○ Synthetics テスト結果データの保存、検索、Synthetics アプリに対する課⾦は、現在の課⾦モデルおよび ライセンス階層でカバーされます。 ○ ○ プライベートテストノード(顧客管理)は、既存のライセンスに含まれます。 マネージドインフラストラクチャサービス上で実⾏されるテストは、顧客にとって追加コストが発⽣します。
サービスの幅を広げるパブリックベータ版へのアクセス 8.4以降をお使いのすべての Elastic Cloud のお客様 ● ドライバー ○ 新しいSyntheticsアプリのマネージドインフラベータ部分の 実利⽤を増やしたい ○ ○ 限定公開後、安⼼して利⽤範囲を拡⼤できる 現在、対象クラスタの17%がサービスベータを実⾏ ● Elastic Cloud のすべてのライセンスティアで利⽤ 可能 ● この機能は新しい Synthetics アプリの⼀部で、 ベータ版
サポート性 ● このサービスおよび Synthetics App はまだベータ版 ● 8.4 では、ユーザーは Uptime アプリを介してサービスと対話する ことになる ● サービスや UI のベータ機能を管理する SLA はない ● 問題は Synthetics チームに提起する必要がある ● サービスの使⽤については、公正使⽤ポリシーが適⽤される ● このリリースでは、お客様のクラウド請求書にテスト実⾏のための 項⽬別の消費はない
情報の転送 8.4 Security Solution
導⼊と8.4のコンテキスト アナリストのワークフローを合理化 クラウドセキュリティ アジェンダ Elastic Agent におけるエンドポイントおよび Osquery のセキュリティ データ統合 検出⼯学ワークフロー プリビルト検出コンテンツ
The Elastic Security Solution Modern Security Operations Platform
現代企業のためのセキュリティ運⽤ 1 データ駆動型 2 3 オープン&トランスペアレント スピードとスケーラビリティ 4 5 オートメーション マルチクラウドネイティブ
Elastic Security SIEM Threat Detection, Investigation, and Response Endpoint / XDR Cloud Next Generation Anti-Virus (NGAV) Cloud Posture Management (K/CSPM) Endpoint Detection and Response (EDR) Cloud Workload monitoring and protection (CWP) Investigate MODERN SECURITY OPERATIONS Protect Respond (TDIR)
The Protection Stack Elastic Security LABS 600+ rules mapped to MITRE ATT&CK Prebuilt ML Models First party threat research PLATFORM Query and correlaCon detecCon rules Threshold management detection Threat intelligence management User and host risk detecCon Cloud asset drift protection Machine Learning model creation OrganizaConal-scale analyCcs & threat hunCng Limitless lookback with archive analysis 100+ One-Click Integrations LOGS Firewall Enriched Events & Response Identity Email Protected Hosts Cloud logs PRE-EXECUTION POST-EXECUTION Kernel-level event collection ML ransomware prevention Behavioral ransomware prevention Memory-based prevention User customizable blocklist Deception technology ML malware prevention Attack surface reduction Behavior-based technique prevention Self-healing for Windows hosts Elastic Agent Endpoint and Cloud Security, Osquery, Network packet collection, and more EDR Custom logs and more
お客様のビジネス規模に合わせたマルチクラウド /ハイブリッド分析 Elastic Security Cloud Elastic Security Central Instance Federated queries from central instance Efficient query results sent to central instance Distributed instances Google cloud Amazon cloud Azure On-prem
Elastic Security Labs の専⾨家 による研究 ● オープンな脅威の研究およびマルウェアの解析 - 例: Blister Loader, Follina CVE, CUBA Ransomware analysis, BPF door ● 常に更新される脅威検知ルール (600以上) ● すぐに適⽤可能な教師なし機械学習モデル (50以上) ● マルウェア、ランサムウェア、メモリなど、キュレーションされた セキュリティアーティファクト https://www.elastic.co/security-labs/
8.4 機能 Streamlined Analyst Workflows ステータス サブスクリプション クラウド/ セルフマネージド タグ別組み込み型ダッシュボード GA Standard / Basic 多次元グループ化 GA Standard / Basic インサイト*(今回のリリースでは、サブスクリプションは強化さ れていません。) GA Platinum / Platinum Feature Disabled Platinum / Platinum GA Standard / Basic Tech Preview Gold / Platinum アラート(その後の洞察)付きアナライザー 外部アラート除去 Cases Webhook
組み込み型ダッシュボード Security Solution タグが付いた Kibana ダッシュボードは、Security ソリューションから 離れることなく簡単にアクセスできるように ● ドライバ ○ 既存のダッシュボードとの統合を実現し、ページ切り替えの コストを削減します。 ○ ● ユーザーは、Securityから離れることなく、カスタムダッシュ ボードへのアクセス性と柔軟性を期待しています。 価値 ○ ○ ● ● ダッシュボードの作成に慣れているユーザーや、統合により ダッシュボードをインストールしたことのあるユーザーにメリット があります。 インデックス付きデータを可視化するための Kibana 機能 セットの可⽤性が強化される。 基本/標準 GA
多次元グループ化(とツリーマップ) 新ツリーマップ可視化機能付きアラートテーブルチャートで、セカンダリーグループバイフィールド が利⽤可能に ● ドライバ ○ 警告を効果的にクラスタ化するための多次元的な グループ化要素を提供します。 ○ ● ⾼度なグループ化ロジックを作成するために、熟練 したセキュリティユーザが少なくとも2つの次元を必要 とすることは必然です。 価値 ○ ○ ● ● リスクスコアの優先順位付けを伴うアラートのグルー プ化において、より多くのオプションを求めるユーザー にとって有益である。 アラートページにカスタマイズ機能を追加し、異なる チャートだけでなく、任意のフィールドを選択してグ ループ化することができます。 基本/標準 GA
インサイト(関係性) 推奨されるタイムライン調査ピボットを含む関連 アラートがフライアウトでユーザーに提供されます。 ● ドライバ ○ ○ ● ● ● 調査プロセスを導くために、優先順位を付けた関係をユーザーに提供します。 アラートを⾒るとき、ユーザーは誤検出の可能性や他のアクティビティとの類 似性を評価できるように、すべての注⽬すべき関係のスナップショットを期待 しています。 価値 ○ 以前のアラート(またはケース)アクティビティとの相関関係を求めている ユーザーに有益です。 ○ 各インサイトには、調査を開始するためのタイムライン相互作⽤(有病率情 報とともに)が含まれています。 ○ 将来的には、より多くのインサイトとガイダンスへの扉を開くことができます。 Platinum* (現在の関係には適⽤されません) GA
アラート機能付きアナライザー Analyzer グラフ内での検出エンジンアラートの表⽰ ● ● ドライバ ○ Analyzerのグラフに⽋落していた属性を提供(どのようなアラート が存在するのか︖) ○ Analyzerは、プロセスの系統を可視化する際に、対応するイベント を表⽰しますが、以前はアラートを除外していました。これで、ユー ザーは検出エンジンからこれらのアラートを⾒ることができます。 ○ プロセス祖先による関連アラートの追加インサイトが提供されます。 価値 ○ ユーザーがAnalyzerでグラフィカルに表⽰するために単⼀のイベント を分離した場合、アラート(event.kind:signal)をイベントタイプ として扱い、視覚化する必要があります。 ○ 多数のアラートを持つプロセスツリーは、真正の明確な指標となる 可能性があり、対応が必要である。 ○ ● ● 対応するインサイトは、同じプロセスツリー内のすべてのアラートを 表⽰するための重要な調査ステップを提供します。 Platinum 無効化された機能フラグ(Tech Preview)
外部アラート置き換え アプリ内の冗⻑性と密度を減らすため、外部アラートタブを削除し、イベントタブ内 クスプローラページ内)のトグルに変更 ● ドライバー ○ ○ ● 外部警告タブはすべてイベントタブと同じテーブルを利⽤していて、 外部警告はevent.kind:alertでフィルタリングされていました。 ○ タブを削除しフィルタリング(チェックボックスによる)を採⽤しました。 価値 ○ 外部アラートは、Detection Engineから作成されたアラートと ⽐較すると、アプリ内で混乱を引き起こします。 ○ アラートと統合している(そして対応するプロモーションルールを 作成しない)ユーザーにとって有効なワークフローがあります。 ○ このユースケースを維持するために、外部アラートとイベントテーブル の間のワークフローを統合しました。 ○ ● ● テーブルの繰り返しでアプリの密度を下げる さらに、ネットワークページは他のエンティティページと⽭盾していた ので、そのページも更新されました。 Standard / Basic GA (エ
Cases Webhook Webhook は、Cases を含むコネクタの カスタマイズを提供 ● ドライバ ○ Webhook コネクタは、これまでアラートフレームワークのみに限定さ れていました。 ○ ● インシデントレスポンスやケース管理にカスタムツール(またはElastic コネクタを持たないサードパーティツール)を使⽤しているセキュリティ チームは、Cases ⽤の Webhook コネクタを作成できるようになり ました。 価値 ○ ○ ● ● ツールや API を理解している上級ユーザは、Cases ⽤のカスタム Webhook を作成して、インシデント追跡のためのケース情報を転 送することができます。 これにより、⾃動化されたアラートアクションから⼿動によるケース作 成までのワークフローに⼀貫性を持たせることができます。 Gold / Platinum Tech Preview
合理的なナビゲーションが可能に 8.3の新しい合理化されたナビゲーションに関する機能は、デフォルトで有効に ● ドライバ(8.3 TOI からの再録) ○ ● 新しい合理化されたナビゲーションアーキテクチャ (デフォルトで有効)は、セキュリティアプリケーションの 密度を論理的なセクションに削減します。 価値(8.3 TOI からのリカバリー) ○ セキュリティ・ソリューションが成⻑し続ける中、ユーザーは 簡素化されたエクスペリエンスを期待しています。 ○ ページをユースケースにまとめることで、より論理的な ユーザー・ジャーニーが可能になります。 ○ ナビゲーションには、フライアウト・パネルと新しい ランディング・ページが含まれます。 ○ ● ● 注︓セキュリティセクション内の Kibana の詳細設定 によって無効にすることができます。 Basic/Standard GA
Cloud Security
Cloud Security ハイライト 総括とハイライト • 8.2と8.3では、 Elastic Security for Cloud をベータ 版として導⼊しました。 • 8.2では、Linux ベースのワークロードに適したセッションビュー アや eBPF データ収集などの機能を備えたクラウドワークロー ド統合を Endpoint Security と⼀緒に発表しました。 • Use Case SelfManaged Cloud 8.3 では、CIS Kubernetes Benchmark と呼ばれる Kubernetes Posture Management の統合を Tech Preview で開始しました。 Cloud/ Kubernetes Posture Management Enterprise Standard • 8.4 では、クラウドワークロードと Kubernetes Posture の 両⽅について、AWS での K8S サポートを開始します。 Cloud/Kubernetes Workload Protection Enterprise Enterprise • 8.5では、これらの機能の GA に向けて作業中です。
Elastic Security for Cloud in Kubernetes (k8s) k8s ワークロードのエンドポイントコンテナ化と k8s オブジェクトコンテキストでの可視化 (Google Kubernetes Engine(GKE)と Amazon Elastic Kubernetes Service(EKS)の管理) ● ドライバ ○ ○ ● ○ CNCF の調査参加者の83%が k8s を実運⽤で 使⽤している。 97%のテクノロジーリーダーが k8s のセキュリティに 懸念を抱いている(vmware の調査による)。 この傾向は、年々増加傾向にある。 価値 ○ ○ ○ k8s/コンテナのランタイム攻撃に対する MTTR を 減少させる。 異なるクラウドサービスプロバイダー間のすべての k8s ワークロードのランタイムを1枚のガラスで可視 化する。 k8s コンテナ/ポッド/ノードを⻑期間保存していない 場合でも、k8s セッションを完全なコンテキストで 可視化します。 ● ライセンスレベル ● 機能のリリース状況 ベータ版 ○ ○ クラウド - エンタープライズ セルフマネージド - エンタープライズ
技術的な詳細 ● 「エンドポイントとクラウドのセキュリティ」統合は、k8s の Elastic agent ● ● ● ● daemonset pod 内のコンテナとして実⾏されます。 新しいマイクロサービス、elastic-data-enrichment(内部的には k8smdと呼ばれる)を導⼊し、k8s API とクラウドプロバイダAPIを活⽤ して k8s とクラウド固有のメタデータを取得するようにしました。 k8s の Elastic Security for Cloud は、ノードごとに Elastic Agent DaemonSet Pod として表⽰され、elastic-agent, elasticendpoint-security, elastic-data-enrichment の3つのコンテナが 実⾏されます。 Linux のプロセスイベントに k8s メタデータ(コンテナイメージ名など)と クラウドメタデータ(クラウドサービスプロバイダなど)を追加し、セッション ビューアで k8s セッションに表⽰されるようにしました。 k8s 論理(k8s ドメインモデル)とインフラ階層(ノード中⼼)のツリー 表⽰により、k8s クラスタ内のワークロードを容易にナビゲートすることが できます。 Elastic Data Enrichment Endpoint and Cloud Security Elastic Agent Elastic Agent DaemonSet Pod
サポート性 ● リリース時には、インストール、k8s ダッシュボードのコンポーネント、 セッションビューの k8s 固有のデータについて説明した顧客向け ドキュメントが提供される予定です。 ● ベータ版であるため、公式 Elastic サポートは提供されません。
KSPM Kubernetes クラスタ(アンマネージドクラスタ、 Amazon EKS クラスタ)のセキュリティポスチャを測定 ● ドライバ ○ ● ● ● Kubernetes の構成の柔軟性と動的な性質により、 セキュリティコンプライアンスを満たし、コンプライアンス を維持し、それを証明することが困難である。 価値 ○ Kubernetes クラスタとリソースのセキュリティポス チャーを把握することができます。 ○ EKS およびアンマネージド/バニラ k8s クラスタの CIS ベンチマークコンプライアンスカバレッジ ○ 設定ミスに対するガイド付き修正機能 8.4 ではベータ版、8.5 では GA 版です。 ライセンスレベル ○ ○ クラウド - スタンダード セルフマネージド - エンタープライズ
KSPM の技術的詳細 ● Amazon Elastic Kubernetes Service(EKS)とアンマネージド/バニラ ● Kubernetes クラスタのセキュリティ姿勢のみを測定します。 EKS に関しては ○ ⾃⼰管理ノードグループと管理ノードグループにデプロイし、そのポスチャーを 評価することが可能 ○ Fargate 上の EKS はサポートされていない ᐨ ● ● AWS Fargate で Amazon EKS を使⽤するお客様は、ノード管理 に責任を持ちません。したがって、このケイパビリティは Amazon EKS on AWS Fargate のためのスコープではありません。 KSPM の 8.3 リリースを使⽤している顧客(現在 ESS の 8 顧客)が 8.4 バージョンにアップグレードする場合、アップグレードできる唯⼀の⽅法は、統合 を完全にアンインストールし、8.4 バージョンをインストールすること パフォーマンスとスケールのテストはまだ実施中
サポート性 ● 導⼊⽅法やセキュリティナビで導⼊された各種新ページ について解説した顧客向けドキュメントをリリース時に提 供する予定です。 ● KSPM はベータ版であるため、正式な Elastic サポート は提供されません。
Endpoint Security in Elastic Agent
Endpoint Security Positioning セキュリティ分析と組み合わせた AV、NGAV、EDR の置き換 えや追加をお考えのお客様には、Elastic Security が提供 します。 ● 機械学習によるマルウェアとランサムウェアの防御 ● ランサムウェアの予防のための追加レイヤー ● メモリ脅威と悪意のある⾏動の防⽌ ● MITRE ATT&CK にマッピングされた数百の検出を持つ EDR 他のエンドポイントセキュリティベンダーとは異なり、Elastic は エンドポイント予防、エンドポイント検出と応答、XDR のユース ケースを単⼀エージェントと単⼀統合セキュリティプラットフォーム で解決します。 Use Case Subscription Cloud / SelfManaged ⾼度なデータ収集による AV/EDR の強化 Standard / Basic アンチウイルス Standard / Basic 次世代アンチウイルス Platinum / Platinum エンドポイント ディテクション&レスポンス (EDR) Enterprise / Enterprise 拡張型ディテクション&レスポンス (XDR) Enterprise / Enterprise
Elastic Security for Endpoint - 8.4 Protect Windows macOS Linux Subscription Cloud / SelfManaged マルウェア対策 ✓ ✓ ✓ Standard / Basic 検出エンジンのルールによる⼀元的な検出 ✓ ✓ ✓ Standard / Basic ブロックリスト ✓ ✓ ✓ Standard / Basic メモリー脅威の防⽌ ✓ ✓ ✓ Platinum / Platinum ビヘイビア防⽌(エンドポイントルール上) ✓ ✓ ✓ Platinum / Platinum 振る舞い、MBR、Canary ファイルによるランサムウェア対策 ✓ Coming Soon Coming Soon Platinum / Platinum 機械学習による検知の運⽤化・⼀元化 ✓ ✓ ✓ Platinum / Platinum
Elastic Security for Endpoint - 8.4 Investigate Subscription Cloud / SelfManaged Windows macOS Linux ⼀元管理・レポーティング ✓ ✓ ✓ Standard / Basic ⼀元的な調査とスレットハンチング ✓ ✓ ✓ Standard / Basic osquery を使ったスレットハンティング ✓ ✓ ✓ Standard / Basic ケースマネジメント ✓ ✓ ✓ Standard / Basic Coming Soon Coming Soon ✓ Enterprise / Enterprise ユーザーとサービスのセッションを可視化
Elastic Security for Endpoint - 8.4 Respond Subscription Cloud / SelfManaged Windows macOS Linux ホストの隔離 ✓ ✓ ✓ Platinum / Platinum エンドポイントセルフヒーリング ✓ - - Platinum / Platinum レスポンスコンソール ✓ ✓ ✓ Enterprise / Enterprise - 実⾏中のプロセスの列挙 ✓ ✓ ✓ Enterprise / Enterprise - プロセスの⼀時停⽌ ✓ ✓ ✓ Enterprise / Enterprise - キルプロセス ✓ ✓ ✓ Enterprise / Enterprise - その他のアクション Coming Soon Coming Soon Coming Soon
Endpoint Protections
Open Protection Artifacts – Yara と Behaviors エンドポイント保護に透明性を持たせることで、不明瞭さによるセキュリティを排除し、 セキュリティチームがリスクを適切に評価し、プログラムを改善することを可能に ● ドライバ ○ ● 価値 ○ ● 私達は、オープンで透明であることがユーザーにとって 最良であり、⻑期的にはすべての⼈のセキュリティを 向上させると信じています。 組織は、提供されたルールの適⽤範囲を評価し、 ⾃分たちの保護範囲を評価することができます。 ○ コミュニティによる導⼊と貢献 ○ 組織のセキュリティ態勢が全体的に改善される 機能のリリース状況 GA
Open Protection Artifacts - 技術的な詳細 カスタマーサクセス、セールス、マーケティングの技術チームに役⽴つ情報の特定 ● ● ● ● ● ● Yara Signatures と Endpoint Behavior Protection Rules を公開しました。 License - Elastic License 2.0 Repo: https://github.com/elastic/protections-artifacts Mark Dufresne Blog: https://www.elastic.co/blog/continued-leadership-in-open-andtransparent-security Tony Meehan Blog: https://www.elastic.co/blog/heres-why-i-know-open-security-is-ourbest-defense Santosh Krishnan Blog: https://www.elastic.co/blog/why-the-best-kind-of-cybersecurity-isopen-security
悪意のある⾏動の防⽌ - カバレッジ Platinum OSS GA Extended Detection
Endpoint Response
ネイティブ対応アクション アナリストの主要なワークフローからワンクリックでアクセスできる レスポンスコンソールインターフェースにより実務担当者のレスポンスを加速させることが可能 ● ● ● ● ドライバ ○ 現在の弾⼒的なセキュリティソリューションは、幅広い可視性と⾼度 な予防・検出機能を提供していますが、侵害された可能性のある ホストに対して対応・修復措置を取るためのツールをユーザーに提供 する必要があります。 価値 ○ 実務担当者やセキュリティアナリストによるレスポンスワークフローの ⾼速化を可能にする ○ プロセス操作の追加により、アナリストはホスト上で実⾏中のプロセス を表⽰し、悪意のあるプロセスを⼀時停⽌または強制終了すること で改善措置を取ることができます。 ○ 監査インターフェースは、インシデント対応活動の完全な記録を 提供し、厳格な管理とレポーティングをサポートします。 ライセンスレベル ○ クラウド - エンタープライズ ○ セルフマネージメント - エンタープライズ 機能のリリース状況 GA
技術的な詳細 ネイティブ対応アクション ● ● ● ● レスポンスコンソールを使⽤するには、エージェントが Endpoint and Cloud Security integration を 実⾏しており、エージェントのバージョンが 8.4 であること を確認する必要があります。 レスポンスアクションは、Linux、MacOs、Windows の すべてのオペレーティングシステムで使⽤可能です。 ホストがオンラインでない場合、"オフライン” アクションが サポートされ、保留中のアクションはホストがオンラインに なるまで実⾏されません。保留中のアクションは、有効 期限が切れるまで2週間待機し、アクションログで追跡 することができます。 キャンセル機能はありません。アクションを送信すると、 送信されます。 新しい(8.4)レスポンスアクション は以下の通りです。 ● 実⾏中のプロセスの列挙 ● プロセスの⼀時停⽌ ● プロセスの強制終了
サポート性 ネイティブ対応アクション ● リリース時にドキュメンテーションを提供 ● 短期的(今後数リリース以内)には以下のような機能が予定され ています。 ○ RBAC コントロール ○ ファイル操作 ● ホストアイソレーション レスポンスクイックアクションはプラチナムです。 ● レスポンス・コンソールのエクスペリエンスはエンタープライズ
⾃⼰回復 Windows 修復機能 ● ドライバ ● 価値 ○ ○ この新機能は、ユーザーの操作 なしに、感染したホストの修復 を⾃動的に⾏います。 セルフヒーリングにより、悪意 のある活動の影響を最⼩限に 抑え、検出前に展開された 攻撃の痕跡を消去することが できます。 本機能のライセンスレベル プラチナ 本機能のリリース状況 GA ○ ● ● この強⼒な機能により、当社の 製品スキルと能⼒が強化され、 攻撃時の迅速な復旧につな がります。
技術的な詳細 ● ⾃⼰回復機能は、8.4 以降、ポリシーの詳細オプションとして利⽤できる ようになり、設定 windows.advanced.alerts.rollback.self_healing.enabled に 値 "true" を⼊⼒することで有効にできるようになります。 ● 予防アラートがトリガーされた後、エンドポイントは⾃動的に以前のスナップ ショット(定期的に取得される)にシステムをロールバックします。 ● この製品は、ロールバックによって影響を受けるファイルをユーザーに表⽰ できますが、最初の実装では、ロールバックから除外されるファイルを選択 したり、マルウェアによって影響を受けるファイルのリストを表⽰したりすること はできません。
サポート性 ⾃⼰回復 ● リリース時にドキュメントを提供 ● Windows のみ使⽤可能 ● 8.4 リリースでは機能が制限されています: ロールバックファイルのみ ○ 拡張機能セットでフォローアップ予定
Endpoint Investigation with osquery
Osquery API ● ドライバ ○ ● フル機能の API で osquery の完全な⾃動化を 可能にする 価値 ○ ○ osquery のアクションを⾃動化したいお客様や パートナー様にとって有益 使⽤例: SOAR ○ osquery の機能をミラーリングします。 ● 機能のライセンスレベル ● ● 機能のリリース状況 : GA API ドキュメント
Endpoint Performance & Troubleshooting
エージェント”不健全”トラブルシューティング 統合のステータスは、不健全なエージェントのトラブルシューティングに役⽴つ ● ドライバ ● 価値 ● ● ○ ○ 私たちは、ユーザーがエージェントが不健全であること を確認し、問題がEndpointにあると判断する前に、 サポートと開発部⾨と何度も繰り返さなければなら ない、多くのサポート問題に遭遇してきました。 どのような統合が "不健康な" エージェントステータス の原因となっているかについてのより多くの洞察を 提供することにより、トラブルシューティングワークフロー を迅速化し、ユーザが⾃分でトラブルシューティングで きるより良いツールを提供するはずです。 ライセンス ○ クラウド - スタンダード ○ セルフマネージド - ベーシック 機能のリリース状況 GA
技術的な詳細 エージェントの不健全性に関するトラブルシューティング ● ● トップレベルのエラーメッセージは、Endpoint によって引き起こさ れる不健全な状態の主な原因として考えられるものを特定しま す。これらのエラーは、ユーザーがEndpointとCloud Security の統合をインストールする際に⾒られる⼀般的な問題であるた め、呼び出されます。 ○ macOS システム拡張 ○ macOS フルディスクアクセス ○ Linux潜在的なデッドロック ただし、ポリシーレスポンスエラーとエージェントの不健全な状態 は、これら3つの問題に限定されるものではないことに注意してく ださい。ポリシーレスポンスは、ユーザーが遭遇する可能性のある 追加の潜在的なエラーを⽰し続けます。
エンドポイントパフォーマンス ● ● ● ● ドライバ ○ CPU とメモリの使⽤率に関して、パフォーマンスは まだ期待できるレベルではありません。 ○ 私たちは継続的に統計情報を監視し、システム パフォーマンスへの影響について報告された問題に 対処していきます。 ○ 現在の数値 ᐨ CPU: 平均1-5 ᐨ メモリ: 100-500MBの間 機能のライセンスレベル ベーシック/スタンダード 機能のリリース状況 GA 8.3.3での既知の問題
●MacOS Ventura - リリース予定⽇〜10⽉ ○8.4 - MacOS ベータ版へのインストール を許可; 実験的/公式にはサポートされて いません 新しい OS への 対応 ○8.5 - 新機能のテストと検証 ○8.6 - フルサポート ●Debian 11 ○8.4 - フルサポート ●Windows 10 ○22 H2
詳細 フリートマネージドエージェントの 8.4 倍 25K エージェント の管理規模 25,000 エージェント規模において Fleet/Agent Scale ● ユーザーはエージェントを登録することができます ● エージェントの登録解除が可能 ● エージェントのアップグレード ● エージェントポリシーの更新 ● ユーザーは統合をアップデートできます ● ユーザーは統合ポリシーの更新できます 注︓Agent と Fleet Scale の詳細については、 Platform Enablement にご参加ください。
詳細 Fleet UI でエージェントタグの追加/削除/変更が可能に なりました。 ● グループ化機能は、エージェント(およびエンドポイント) Fleet/Agent Tagging ● ● ● を⼤規模に管理するために重要です。 エージェントのグループ化に基づいて、ユーザが様々な アクションを実⾏できるようになります。 ライセンスレベル スタンダード/ベーシック 機能のリリース状況 GA 注︓Agent と Fleet の詳細については、 Platform Enablement にご参加ください。
Data Integrations
新しい統合 シングルクリックで Elastic Agent を統合 ● Abuse.ch Threat Fox ● AWS Security Hub* ● Box* ● Citrix WAF ● Cloudflare (Log Push)* ● CyberArk Threat Analytics* ● Darktrace* ● GitHub Advanced Security* ● Google Workspace Alerts Center* ● Microsoft Azure Firewall ● Ping Identity* ● Slack ● Trend Micro Vision One* * Will be available during 8.4 release cycle
8.4 拡張機能 ● ● ● ● ● ● Palo Alto Firewall の統合 ○ PAN-OS 10.x のサポート ○ すべてのイベントタイプに対応 ○ 新しいダッシュボード Auditbeat/Auditd Manager の不変性サポート ○ 悪質な者による auditd ルールの改変を制限 カスタム統合 シスログプロセッサー ○ UDP/TCP 統合により、シスログの取り込みと解析を容易 に実現 Akamai + CEF|新しいダッシュボード Cisco ASA|改善された認証イベントサポート >10 の統合機能が GA
Detection Engineering Workflows
関連するインテグレーションと必須項⽬ ● ● ● ● ● 説明:この機能により、ユーザーは事前に構築された SIEM ルールと統合の関係を確認することができます。 これにより、ルールを正常に実⾏するために必要なデータ を提供する統合を簡単に特定することができます。 また、ルールがどのフィールドに依存しているかを⼀⽬で 確認することができます。 技術的な詳細:組み込み済みの統合は、SIEM ルール テーブルとルールの詳細ページに表⽰されます。必須 フィールドは、ルールの詳細ページで確認できます。 ライセンスレベル:スタンダード/ベーシック リリースステータス:GA 既知の問題:なし
新しいルールタイプ - 新しい⽤語 新語を初めて⾒たときに検出し、警告する ● ● ● ● ● 説明: この機能により、ユーザーはデータソースに 含まれる⾒慣れない⽤語(調査が必要な事象 の初期指標となり得る)を検出できます。 技術的な詳細: ドキュメントが取り込まれ、指定 された期間(例︓過去7⽇間)に出現したもの と異なるフィールド値を含む場合、このルールは 警告を⽣成する。 ライセンスレベル: スタンダード/ベーシック リリースステータス: GA 既知の問題: なし
例外のワイルドカード対応 柔軟で合理的な例外設定 ● ● ● ● ● 説明: この機能により、ユーザーはルールの例外を 定義する際にワイルドカード表現を指定できます。 技術的な詳細: 新しい "matches" 演算⼦が、 ワイルドカード表現値を持つ例外の設定オプションと して利⽤できるようになりました。1⽂字マッチングの ための"? "だけでなく、"*"の使⽤もサポートされます。 ライセンスレベル: スタンダード/ベーシック リリースステータス: GA 既知の問題: なし
アドバンスド・ルール・プレビュー ⾼度なルールのプレビューケースに関する設定オプションが増加 ● ● ● ● ● 説明: 実際のルール実⾏に近い形でルールプレビュー を設定するためのオプションが増えました(さらなる機 能強化が予定されています)。 技術的な詳細: ルールプレビューの詳細設定において、 「ルール間隔」と「追加ルックバック」フィールドを設定で きるようになりました。タイムアウトしそうな設定には、 警告が表⽰されるようになりました。 ライセンスレベル: スタンダード/ベーシック リリースステータス: GA 既知の問題: なし
Pre-built security content
新しい調査ガイド 注意喚起の調査に関する専⾨的なアドバイスの提供 ● ● ● 説明: MTTD を減らすためのガイド付き事前構築 ルールのカバレッジを改善するための継続的な努⼒ 技術的な詳細: ○ 新しいガイドでは次のようなトップ有効/警告ルール に対応しています。 ᐨ Windows : 20件 ᐨ Cloud : 30 - 初の Cloud 調査ガイド ○ 151 の堅牢な調査ガイドを OOTB で提供し、 さらに 20 の短い調査ポインタガイドを提供します。 既知の問題: なし Standard/Basic Enterprise Platinum Gold OSS GA
Elastic がオーサリングした Osquery 検索の新規追加 アナリストが関連情報を迅速に⼊⼿できるようにする ● ● ● 説明: セキュリティアナリストが Windows アラートまたは ハンティングのための追加情報を取得するために保存された 新しいクエリを提供する 技術的な詳細: ○ DFIR のための 10個 の保存された OS クエリー検索 ○ Osquery との統合により、保存されたクエリとして出荷 されます。 既知の問題点: なし Standard/Basic Enterprise Platinum Gold OSS GA
検出ルール : クラウドワークロードの保護 事前に作成されたルールのメンテナンスとアップデート ● ● ● 説明: CWP ルールの⾒直しとチューニング、Kubernetesの 新ルールについて 技術的な詳細: ○ 既存ルールのテストとレビュー ○ Google Workspace ○ GCP (いくつかのルールのチューニングも実施) ○ 新規ルール - Kubernetes ᐨ 8つの新規ルール、主に権限昇格のためのルール ○ 8.5+ の新規ルールの調査/計画 既知の問題: なし Standard/Basic Enterprise Platinum Gold OSS GA
検出ルール : MacOS と Linux 事前に作成されたルールのメンテナンスとアップデート ● ● ● 説明: エンドポイント OS 検出ルールのレビュー、アップデート、 ⾮推奨事項 技術的な詳細: ○ MacOS と Linux の全ルール (38 Linux + 61 MacOS) のレビューとアップデート ○ 7つのルールが⾮推奨となりました (MacOS 6つ、 Linux 1つ) ○ 8.5+ ⽤の新しいルールの研究/計画 既知の問題:なし Standard/Basic Enterprise Platinum Gold OSS GA
セキュリティソリューション - 8.4 機能概要 特⻑ ティア&ステータス 詳細説明 タグ別セキュリティソリューションの 組み込みダッシュボード Standard / Basic Generally Available Security Solution タグが付いた Kibana ダッシュ ダッシュボードの作成に慣れているユーザーや、統合に ボードは、Security ソリューションから離れることなく簡単 よってダッシュボードをインストールしているユーザーにメリット にアクセスできるようになります。 があります。 多次元グループ化とトレマップ Standard / Basic Generally Available 新ツリーマップ可視化機能付きアラートテーブルチャート で、セカンダリーグループバイフィールドが利⽤可能になり ました。 リスクスコアの優先順位付けによるアラートのグループ化に おいて、より多くの選択肢を求めているユーザーにとって 有益な機能です。 Platinum / Platinum* Generally Available アラートフライアウトでユーザーに提供される推奨タイム ライン調査ピボットの関連アラート(サブスクリプションは 強制されません。) タイムラインとの統合により、過去のアラート(または ケース)活動との関連性を求めるユーザーにとって有益 です。 Platinum / Platinum Tech Preview (disabled feature) Analyzer のプロセスツリーグラフ内に検出エンジンの アラートを表⽰する。 プロセスの系統を可視化する場合、Analyzer は対応 するすべてのイベントを表⽰する必要があります。このたび、 検出エンジンからのアラートを、インサイトを追加して表⽰ できるようになりました。 Standard / Basic Generally Available アプリ内の冗⻑性と密度を減らすため、外部アラートタブ を削除し、イベントタブ内(エクスプローラページ内)の トグルに変更しました。 外部アラートは、Detection Engine から作成された アラートと⽐較するとアプリ内で混乱を引き起こし、アプリ 内の密度を低下させます。 インサイト アラート(その後の洞察)付き アナライザー 外部アラート除去 ビジネスバリュー
セキュリティソリューション - 8.4 機能概要 特⻑ ティア&ステータス 詳細説明 ビジネスバリュー Cases Webhook Gold / Platinum Tech Preview Webhooks は、Cases を含むコネクタのカスタマイズを 提供します。 ツールや API を理解している上級ユーザーであれば、 Cases ⽤のカスタム Webhook を作成し、インシデント 追跡のためにケース情報を転送することができます。 新しい Investigation ガイドと 新しい Kubernetes 検出ルール Standard / Basic Generally Available 事前構築された検知ルールに Windows とクラウドの 調査ガイドを新たに50個追加、権限昇格にフォーカスし た Kubernetes のルールを新たに追加 SOC アナリストと検出エンジニアは、Windows とクラウド のアラート調査に関する強固なガイドラインを活⽤し、 新しい Kubernetes ルールがコンテナ環境における脅威 の発⾒を⽀援します。
情報の転送 8.4 Platform
オンボーディング2.0 – marketplace 登録オプション 追加された機能: 現在では、サインアップページから直接 marketplace のオファーに申し込むことができるよ うになりました。これにより、マーケットプレイスの認知度 が向上し、サインアッププロセスが簡素化されるため、 ユーザーに好まれます。 追加の理由: マーケットプレイスを通じて購⼊した場合、選択された クラウドプロバイダーに料⾦が集約されるため、お客様 は購⼊と請求のプロセスを⼤幅に簡素化することが できます。また、Azure上の VM モニタリングの簡素 化など、マーケットプレイス独⾃の統合機能も利⽤で きます。 詳細: • Elastic Cloud の登録ページにマーケットプレイス の登録リンクが表⽰されるようになりました • 現在 A/B テスト中です
オンボーディング2.0 - インスタントデプロイメント 追加された機能 : 新規ユーザーに対して、作成後5分も待つことなく、即 座にデプロイメントにアクセスできるようにします。 追加の理由 : ユーザーは、待ち時間のステップでトライアルジャーニー を放棄しています。このフローを最適化することで、ユー ザーが素早く製品にたどり着き、搭乗を継続できるよう になります。 詳細 : • ⼩規模なドナー配置を稼働させておき、ユーザが 配置を作成するときにそれらを割り当てます。 • ユーザーは、CSP や地域など、デプロイの詳細を 設定することができます。 • 今後のフェーズでは、既存のお客様がインスタント デプロイメントを利⽤できるようにする予定です。
オンボーディング2.0 - トライアルユーザーのためのオートスケーリング 追加された機能 : オートスケーリングは、クラスターのパフォーマンスに応じて ⾃動的にスケールアップするようにデプロイメントを設定する ことができる⼈気の機能です。現在、無料トライアル期間 中にオートスケールを検討することができます。 追加の理由 : お客様は、ワークロードの管理に必要なエンジニアリングの オーバーヘッドを削減するために、しばしば Elastic Cloud を選択します。 オートスケーリングは、デプロイメントのパフォーマンスが⾃動 的にスケールするため、この価値を実現するための重要な 機能です。試⽤中にオートスケーリングを試すことができる ようにすることで、ユーザーはプラットフォームに対して、より 信頼感を持つことができます。 詳細 : • ユーザーは試⽤中にオートスケールを有効にできます。 • オートスケーリングの上限を超えると、有償版への移⾏ を促されます。
オンボーディング2.0 – Kibana を介したアプリ内チャット 追加された機能 : 新規ユーザーに対して、Kibana 内からオンボーディング スペシャリストと連携する機能を提供します。 追加の理由 : 新規ユーザーがデプロイメントを設定する際に、特に インジェスト周りで摩擦が発⽣します。 Kibana の主要なページにアプリ内のチャットオプション を提供することで、Elastic へのライフラインを確保し、 追加⽀援を受けることができます。 詳細 : • CSE チームからのエンゲージメント • 当初は、統合、ファイルアップロード、サンプルデータ など、インジェスト関連のページのサブセットに展開 される予定 • 今後のフェーズで他のページにも拡張予定
オンボーディング2.0 - 新規ユーザー発⾒の質問 追加された機能 : 新規トライアルおよびマーケットプレイスのお客様のサインアッププロセス の⼀環で、ユーザーの皆様に主要なアカウント情報の提供をお願い する予定です。このデータは、ユーザーとの強⼒なエンゲージメント体験 を構築するために、当社の営業およびマーケティングチームによって、 保存・使⽤されます。 追加の理由 : 以前は、サインアップに必要なのは E メールアドレスだけでした。しかし、 これでは新しいトライアルユーザーを効果的に誘導するためのフィールド チームと、有意義で魅⼒的なコンテンツを提供するための下流の課題 が発⽣しました。 詳細 : • 新規トライアルユーザーは、名前、会社名、経験レベル、意図、 ユースケースの⼊⼒を求められます。 • 現在、A/B テスト中です。
AWS MP ワンクリックオンボーディング(9⽉予定) 追加された機能 : AWS とのパートナーシップを継続し、AWS MP の新規顧客のサイン アップ体験を簡素化します。ユーザーは AWS コンソール内で数回 クリックするだけで、Elastic に直接サブスクライブおよびサインアップ できるようになりました。 また Elastic Agent と AWS CloudFormation テンプレート(CFT) を使ってワンクリックでデプロイメントを作成し、データを取り込むオプションを 提供することで、初期設定を簡素化しています。 追加の理由 : 以前は、マーケットプレイスのサインアップフローは、複数のコンソールに またがるいくつものステップを必要としていました。そのため、ユーザーは IAM 権限が⼗分でないなどの問題にしばしば遭遇していました。 新しいシンプルな UX は、ユーザーが Elastic を素早く契約し、デプロイ できるように導くステップアプローチを提供し、以前の複雑さを軽減して います。 詳細 : • AWS コンソール内の新しいサインアップ UX • CloudFormation を使ったデータインジェストの効率化
ESS コンソールの新しいコンサンプションページ 消費-コアエクスペリエンステーマの⼀部 追加された機能 : 消費 UI を刷新 追加の理由 : ● お客様の消費状況把握の向上 ● 社内関係者の消費状況の可視化 詳細 : ● ヒストグラムを追加し、視聴者が傾向を判断し、異常を特定 するのに役⽴つようにしました。これは、すべてのデプロイメント にわたって、または指定された時間範囲内の単⼀のデプロイ メントによって⾏うことができます。 ● CSV に簡単にエクスポートできる機能を追加しました。 ● プリペイド消費顧客向けに出荷、マンスリー、MP など向けに 計画。
トライアルユーザー向けの価格明確化 消費の⼀部 - コアテーマ 追加された機能: 課⾦に関する UI を更新し、試⽤版のお客様が消費の仕組みと、さまざまな サブスクリプション層での展開に必要な費⽤を理解しやすくしました。 追加の理由: トライアル期間中、お客様は以下のことに悩まされる可能性があります。 ● トライアル終了時に発⽣する可能性のある料⾦の表⽰と理解 ● トライアル体験を向上させるために、デプロイメントと価格に関する情報 に対して⾏動を起こすこと 詳細: ● トライアルサマリーモードが導⼊され、お客様のトライアルクラスタが トライアル期間外にいくらかかるかが表⽰されるようになりました。 ● トライアルサマリーから、デプロイの編集、詳細な使⽤データの確認、 価格計算の表⽰、チェックアウトフローへの移動が可能です。 ● チェックアウトフローを更新し、お客様がサブスクリプションレベル、どの 機能が含まれているか、現在の構成の価格(時間単位と⽉単位の 両⽅)にどのように影響するかをより明確に理解できるようにしました。
デプロイメント・モニタリング : Unhealthy Cluster Email Alerts 追加された機能 : 不健全な ESS クラスタをメールで通知(⾚⾊) 追加の理由 : 重要なサービスの停⽌を顧客に通知することで、可視性を ⾼め、復旧までの平均時間を短縮します。 詳細 : • 37.7Kのクラウドのお客様のデプロイメントのうち、2% ~が不健康な状態(⾚⾊)です。 • クラスタが不健全(⾚)な状態のお客様に24時間 ごとにアラートメールを送信 • • 顧客に通知し、トラブルシューティング情報を提供する。 7%~のユーザーがメール内の推奨アクションをクリック している。 Customer email example
健康状態とトラブルシューティングの UI 追加された機能 : Elasticsearch クラスタの健全性に関する問題のトラブル シューティング情報を含む、デプロイの健全性を報告するため の専⽤ページです。 追加の理由 : デプロイメントの健全性に関する問題の解決に向けたセルフ サービスを可能にする。クラスタの平均復旧時間を短縮します。 詳細 : • • クラウドとセルフマネジメントに特化したドキュメントページ で、健康問題のトラブルシューティングを⾏うための UI/UX が更新された専⽤の健康状態ページです。 ES Health API のクラウドへの統合(バージョン 8.4 以上)。
オルタナティブアーティファクト ダウンロード ● ● ドライバ ○ フルエアギャップデプロイメントモデルを実現 ○ エージェントはバイナリダウンロードのためにインター ネットに接続する必要がありません。 価値 ○ インターネットに接続されていない企業環境の ⼤部分にメリットをもたらします。 ○ DMZ 内に http サーバーを構築し、外部への 接続を減らすことができるようになりました。 ○ 艦隊が新しいスタックリリースにアップグレードされる 際の RTT を削減します。 Standard/Basic GA
フリート経由でのエージェントタグの操作 エージェントタグの追加・削除・変更 ● ● ドライバ ○ インストール時にタグを追加することができます。 新しいラベルでオンザフライにタグ付けできるよう になりました。 ○ エージェントは⼀度だけインストールされますが、 LCM は継続的な取り組みであり、これらの タグは変化します。 価値 ○ インストール後にタグを変更する必要がある オペレーターに有益です。 ○ フリート編成をより良くすることができます。 Standard/Basic GA
フリートでの列の並べ替え ● ● ドライバ ○ エージェントを属性でグループ化できるようになり ました。 ○ ⼤規模な場合、オペレータは、アクションが必要 なエージェントをグループ化することができます (バイナリアップグレードなど) 価値 ○ フリート展開の⽇常的なライフサイクル管理に おけるオペレータの利点 ○ アップグレードが必要なエージェント、重複してい るエージェント、オフラインのエージェントを簡単に ⾒つけることができます。 Standard/Basic GA
統合パイプラインのカスタマイズ カスタムインジェストパイプラインとコンポーネント テンプレートを統合に追加できるように ● ● ● ドライバ ○ 現在、インジェストパイプラインとコンポーネントテンプレートに 対するユーザーの変更は、統合のアップグレード時に上書き されます。 価値 ○ エージェントベースの統合を作成、管理するすべてのユーザに メリットがあります。 ○ 収集されたデータのカスタム解析、処理、マッピングは、統合 のアップグレードでも保持されます。 ベータ版機能で、GA ではさらに改善予定 Enterprise Platinum Gold OSS Standard/Basic GABeta 4/02
ログレートスパイクを説明する ● ドライバ ○ ○ ○ ● 価値 ○ OSS Platinum ログデータのスパイクを⾒たとき、ユーザーはその 理由を理解する必要がある イベントレートデータのスパイクや段階的な増加は、 システム変更の指標であり、多くの場合、システム の問題です。 ログレート上昇の原因を特定するための、調査 ワークフロービューが追加されました。 分析表では、フィールドと値のペア、影響度の 指標、影響度の形状を⽰すスパークラインを 表⽰することで、ログ率上昇の潜在的な原因 を把握することができます。 GA Tech Preview
頻出項⽬集計 ● ● ドライバ ○ ログメッセージが突然増加した場合、その原因となった 特定のエンティティが存在するかどうかを知ることは⾮ 常に有⽤です。 価値 ○ 最も影響⼒のあるフィールドを表⽰しますが、これらの フィールドはしばしば関連しており(例︓ホスト名と IP )、フィールドのリストではなく、アイテムセットとして グループ化して表⽰することができます。 ○ イベントレートの急上昇の考えられる原因について、 より情報量が多く、コンパクトな説明を与えます。 Platinum OSS GA Tech Preview
トランスフォーム・アダプティブ・リトライ ● ● ドライバ ○ Transform をアプリケーションに統合する場合、 クラスタのメンテナンス時やその他の問題発⽣時に、 ⼿動で対応することなく簡単にリカバリする必要が あります。 価値 ○ 以前は、Transform は部分的なシャードなど 特定のクラスタ問題を再試⾏し、10回再試⾏ した後に失敗していました。 ○ これにより、無限かつ適応的な再試⾏が可能に なり、失敗時の再試⾏回数を設定することで トランスフォームごとに設定できるようになりました。 Standard/Basic GA
ランダムサンプラーを⽤いた Data Visualizer ● ● ドライバ ○ Data Visualizer のチャートを⾼速化します。 サンプリングは、精度を犠牲にすることなく、⼤幅 なスピードアップを実現します。 機能概要 ○ デフォルトではランダムサンプリングがオンになって おり、速度と精度のバランスをとるために、最適な 設定が⾃動的に計算されます。 ○ より⾼度なユーザーは、サンプリング確率を⼿動 で設定することができます。 ○ サンプリングに適さないデータセット、例えば、 ドキュメント数が少ないデータセット(サンプリング されたドキュメントが200k未満)については、 サンプリングはオフになります。 Standard/Basic GA
UI for Inference 学習済みモデルへのスレッド割り振り ● ● ドライバ ○ ML モデルのデプロイのスケーリングを、簡素 化する。学習済みモデルのデプロイを開始 するとき、いくつかのスレッドパラメータにより パフォーマンスを向上させることができる。 価値 ○ これらのパラメータは、学習済みモデルの デプロイメントを開始する際に UI で設定 できるようになり、パフォーマンスを向上させる ためには、デフォルト値の 1 より⼤きくする 必要があります。 Platinum OSS GA Tech Preview
警告ルールのスケジュールスヌーズ 追加された機能: アラートのルールごとにスケジュールされたスヌーズを管理する 新しい機能です。 追加の理由 : • ⼀時的に通知を抑制することで、お客様のノイズ低減 に貢献します。ex. 計画停電のとき。 詳細: • • 複数のスケジュールと定期的なプランに対応。 改善予定: ‒ 8.5で⼀括アクション ‒ メンテナンスウィンドウの完全管理
合成 _source 主なデータ構造 _source ● ● ● それぞれの⽤途に最適化された データが重複している 時々、< = >となる 元データ、再インデックス化、 Kibana doc_values 集計、ソート、フィールド値への スクリプトアクセス Points (BKD tree) ジオデータを含むレンジフィルター Inverted Index Itʼs complicated Standard/Basic Enterprise Platinum Gold OSS Tech GA Preview クエリ、関連性ランキング、特定の 条件に答える⽂書群にアクセス する、例えば、⽤語について HNSW Graph ベクトル類似度
合成 _source - doc_valuesから作成される 何を物々交換するのか︖ Synthetic _source 2/5 メリット : ● ● インデックスサイズの縮⼩ ○ TCO の削減 ○ データにより異なるが、数⼗%程度 インジェストパフォーマンスの向上 制限事項 : ● ● ● ● doc_values 集計、ソート、フィールド値への スクリプトアクセス Points (BKD tree) Get _source パフォーマンスが若⼲低下することあり サポートされるデータ型のサブセット boolean, byte, double, float, geo_point, half_float, integer, ip, keyword, long, scaled_float, short, text (with a keyword sub-field) ランタイムフィールドでは合成 _source を使⽤できない _source の順序が変更される Itʼs Standard/Basic Enterprise Platinum complicated Gold OSS Tech GA Preview 元データ、再インデックス化、 Kibana ジオデータを含むレンジフィルター Inverted Index クエリ、関連性ランキング、特定の 条件に答える⽂書群にアクセス する、例えば、⽤語について HNSW Graph ベクトル類似度
合成 _source 全体像 ● ● Itʼs complicated TSDB、メトリクスデータへの最適化 ○ インデックスサイズとコストの削減 ○ メトリクス解析の強化 サイズとコストだけでなく ○ 機械が⽣成したデータをあらゆる⾓度から分析 ᐨ ログ ᐨ メトリックス ○ 分散型 ᐨ スケーラブル ᐨ 管理コストの削減 ᐨ ⼀箇所ですべてを分析 Standard/Basic Enterprise Platinum Gold OSS Tech GA Preview 「戦術なき戦略は、勝利 への最も遅い道である。 戦略なき戦術は、敗北 の前の雑⾳である。」 - 孫⼦
ベクタータイルの性能向上 Elasticsearch Geo をさらに⾼速化! ● ● ● ● 正確な計算ではなく、ずさんな計算を使⽤ エンドユーザーへの影響なし クエリのレイテンシを5%〜10%改善することができる より複雑な形状(それが重要な場合)の場合、より⼤きな効果が得られる The server clips to the tile Web Mercator WGS84 Projection Vector tiles clipping
ハイブリッド線形結合 KNN vector similarity ● ● ● 組み合わせ ○ bm25F のような従来の指標 ○ ベクトル類似度 (HNSW ベース) クエリ解析の活⽤ シンプルなのが特徴 Sort by: 0.1 * [hnsw score] + 0.9 * [BM25F score] Itʼs complicated Standard/Basic Enterprise Platinum Gold OSS Tech GA Preview
ハイブリッド線形結合 KNN vector similarity ● ● ● 組み合わせ ○ bm25F のような従来の指標 ○ ベクトル類似度 (HNSW ベース) クエリ解析の活⽤ シンプルなのが特徴 Sort by: 0.1 * [hnsw score] + 0.9 * [BM25F score] Itʼs complicated Standard/Basic Enterprise Platinum Gold OSS Tech GA Preview
ベクトル類似度による集計 (agg) ファセットの値を取得する ● HNSW の場合、トップ k に agg がつく ● ハイブリッドでは、上位k件+クエリ結果セットで agg する ● フィルタリングに必要な値を取得 このクエリの場合 類似性を有する 候補 Itʼs complicated Standard/Basic Enterprise Platinum Gold OSS Tech GA Preview 例えばこれ。
HNSWに基づく _search のベクトル類似度 KNN ベクトル類似度 ● 簡単な操作 ● ユーザーからの頻繁な質問/フィードバック ● ファセットの集計ができる ● GA に向けた準備 Itʼs complicated Standard/Basic Enterprise Platinum Gold OSS Tech GA Preview
API キーの更新 追加された機能 : 作成後の権限や API キーの変更 追加の理由 : ● エンドポイントに展開した場合、既存の API キーの置き 換えが困難な場合がある ● 変更した API キーを再作成するよりもパフォーマンス⾯ で優れている 詳細 : ● API キーの作成後または最終更新後にオーナーユーザー の権限に変更があった場合、その権限が更新されます。 ● ユーザーが更新できるのは、⾃⾝が作成した、または⾃⾝ に付与された API キーのみです。 ● 有効期限が切れたり、無効になった API キーを更新する ことはできません。 Itʼs complicated Standard/Basic Enterprise Platinum Gold OSS GA PUT /_security/api_key/VuaCfGcBCdbkQm-e5aOx { "role_descriptors": { "role-a": { "index": [ { "names": ["*"], "privileges": ["write"] } ] } }, "metadata": { "environment": { "level": 2, "trusted": true, "tags": ["production"] } } }
データビューの名前を変更する データビュー名の更新 ● ● ● ● ドライバ : ○ ダッシュボードを更新されたデータに対応させるのは 難しい。 価値 : ○ データ環境の変化に対応する管理者は、データ ビューの名前を更新することができます。 ○ ダッシュボード、ビジュアライゼーション、検索に⼿を 加えることなく、基礎となるデータを⽬に⾒えない 形で変更することができます。 本機能のライセンスレベル : ベーシック この機能のリリース状況 : GA
Lens に新しいメトリック可視化タイプが追加 美しいダッシュボードは数字から始まる ● ● ● ● ドライバ : ○ マルチメトリックのビジュアライゼーションは、サイズ が異なり、視覚的にずれて⾒えることがあります。 ○ TSVBで複数の指標を⼀貫して表⽰することが 難しい 価値 : ○ 美しく、より⾒やすく ○ 迅速な⽐較のために、レスポンシブなグリッドに 配置された倍数のサポート ○ セル全体をカラー化したり、値のドメインをプログ レスバーで表⽰することが可能 ライセンスレベル : Basic リリース状況 : Tech Preview 参考までに、この機能は ~8.6 で重点的に販売予定
エバンジェリスト/アドボケイトのコミュニティである DevRel Meetup、 その有志、中津川 篤司 ⽥中正吾 可知 豊 鈴⽊ 章太郎で書いた「エンジニアによるエンジニアのためのプレゼン本」は、 オフライン #技術書典 及びオンラインで購⼊可能︕ エンジニアのプレゼン知⾒、気になる⽅は是⾮︕ #DevRel #プレゼン #DevReljp
ElasticON Tokyo @ Westin Hotel Tokyo (2022/11/30) https://ela.st/icon-tokyo-2022
Thank you for your attention!