1.1K Views
February 15, 23
スライド概要
Elastic 8.6での新機能
https://www.elastic.co/jp/virtual-events/whats-new-in-elastic-8-6
FPT ジャパン エグゼクティブエバンジェリスト 独立行政法人 国立印刷局 デジタル統括アドバイザー兼最高情報セキュリティアドバイザー Microsoft で13年間、テクニカルエバンジェリストとして .NET、C#、Visual Studio、Windows、iOS、Android、Microsoft Azure 等の開発者向け技術啓発活動 (DevRel) 。Dell、Accenture、Elastic、VMware 等での DevRel 後、2024年11月1日より現職で DevRel 活動を開始。NVIDIA との戦略的協業 AI GPU クラウド、Azure/AWS/GC 上の AI &データ関連サービスのマーケティング、プリセールス、教育、関連新規サービス開発。元内閣官房 IT 総合戦略室 政府 CIO 補佐官(兼務)、元デジタル庁 ソリューションアーキテクト(兼務)。
Elastic 8.6 リリースの新機能をご紹介 ~世界屈指の検索を活かすプラットフォームとソリューション群の最新バージョン~ 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト デジタル庁 省庁業務サービスグループ ソリューションアーキテクト
Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist デジタル庁 省庁業務サービスグループ ソリューションアーキテクト 元 Microsoft Technical Evangelist
世界屈指のプラットフォームと検索を活かすソリューション群の 最新バージョン、Elastic 8.6を⼀般公開: Elastic Enterprise Search Elastic 8.6 では、Elastic Enterprise Search に導⼊された新ツールによって、検索インデックスへの⾃然⾔語処理(NLP)の実装と管理が可能になり、価値提供までの時間短縮と検索結果 の品質向上が実現しました。また、MongoDB からのデータの取り込み時にカスタムフィルターを使⽤できるようになったため、より正確なデータを簡単に得られます。ネットワークドライブ⽤の新しいオープ ンソースコネクターも導⼊されたことで、インジェスチョンの総合的な柔軟性も⾼まりました。 Elastic 8.6 リリースに伴うElasticエンタープライズサーチの性能強化の詳細 Elastic Observability Elastic 8.6 での Elastic Observability では、新たに追加された Opsgenie コネクターを使⽤したアラートのワークフローにより、エンドツーエンドのインシデント管理が⾼速化されました。さらに、 ガイドが改訂されたため、アプリケーションの依存関係を原因とするパフォーマンスまたは可⽤性に関する問題の特定が容易になり、根本原因分析を⾼速化できるようになりました。 Elastic 8.6 リリースに伴う Elastic Observability の性能強化の詳細 Elastic Security Elastic 8.6 の Elastic Security では、SIEM、クラウド、エンドポイントにわたる調査とインシデントレスポンスにかかる時間が短縮されたため、ランサムウェア保護やアナリストのワークフローの強化と、 ⾼度なエンドポイント検知が実現しました。 Elastic 8.6 リリースに伴う Elastic セキュリティの性能強化 Elastic Stack Elastic の検索のパワーを活かすソリューション群すべての基盤となっているのは、⼀元化されたスタックである Elastic Stack です。Elastic Stackは、Elastic Cloud を通じて AWS、 Microsoft Azure、Google Cloud でマネージドサービスとして利⽤できます。Elastic 8.6 にアップグレードすると、次のことが実現します。 容量の節約︓時系列のインデックスや、新しいアグリゲーションにより、ストレージが効率化されました。 インサイト取得と(問題等の)解決までの時間を短縮︓アドホックなデータビュー、新しい(先ほどご紹介した)Opsgenie コネクター、多岐にわたるアラート機能、ケースコラボレーション⽤ワークフ ローの強化によって、これらの時間が短縮されました。 Elastic 8.6リリースに伴う Elastic Stack と Elastic Cloud の性能強化の詳細 https://www.elastic.co/jp/blog/whats-new-elastic-8-6-0
情報の転送 8.6 Enterprise Search
相互運⽤性 スタックとソリューションでパワープレイを実現 テーマ マーケットメーキング機能 検索を次のレベルへ引き上げる機能を構築 ユーザーエクスペリエンス Elastic のパワーにアクセスできるようにする
構築フェーズ インジェスト Web クローラー コネクター インデックス作成 API クライアントライブラリ ドラッグドロップによるアップ ロード 運⽤フェーズ 関連性の 設定 UI 構築 / 統合 解析結果を ⾒る 結果の 最適化 ⾔語最適化エンジン ベースライン関連性チューニング クエリワークベンチ 学習済みセマンティックモデル API キー 検索 API クライアントライブラリ 検索 UI クエリーのボリューム クエリキーワードレポート クリックトラッキング キュレーション 同義語 関連性チューニング 適応的関連性 各ステップには、それぞれ独⾃のツールが必要であり、これらを統合することで、インサイト・トゥ・アクションを促進します。
インターオペラビリティへの旅路 7.16 から始まる Kibana でのエンタープライズサーチ 8.4 8.5 8.6 8.7+ 検索に最適化されたインデックス、 コネクタフレームワーク(テクニカル プレビュー)、Elasticsearch エンジンと _search(ベータ版) 検索ユースケースのための アクセス可能なMLツール とネイティブコネクタ; Elasticsearch エンジンと _search GA MongoDB ⽤にカスタマイズ されたフィルタリング、NLP を 実装・管理するためのツール の改善 新しいコネクター エンジン、検索テンプレート とクエリルール、新しい統合 と向上した分析機能 Aug 2022 Oct 2022 Jan 2023 …そしてその先へ
クロールのきめ細かいスケジューリング ...そして、速く! 課題︓ ➔ 顧客は、ビジネスのニーズに合わせて取り込みスケジュールを 最適化し、重要な時間帯のシステム負荷を軽減する機能 を必要とする ソリューション︓ ➔ ➔ 特定のウェブサイトのトラフィックが多い時間帯を避けて、 フルドメインのクロールをスケジューリングできるようになった バイナリコンテンツが多いサイトでは、クロールの微調整を ⾏い、パフォーマンスを向上させるオプションを追加した 🎉 Beta in 8.6
新しいコネクタークライアント ● 課題︓ ○ ニーズに合わせてコネクタクライアントを⾃分で カスタマイズして管理し、検索に最適化された Elasticsearch のインデックスに取り込みたい ○ 新しいオープンコードコネクタ ○ ネットワークドライブと Amazon S3 ● ソリューション︓ ○ カスタムデータソースのためのコネクタ開発を加速 ● Tech Preview
コネクタのランドスケイプ それぞれの定義︓ ❏ connector ❏ connector service ❏ connector framework ❏ native connector ❏ connector client ❏ connector protocol ❏ workplace search connector and connector package? コネクターはどこにあるのか︖ ︓
アーキテクチャ概要 Ingestion POV Connector Service Connector clients Connector Service Connector clients Connector protocol https://whimsical.com/architecture-toi-PJua8c6aJ3GQydisRKpPNi
構築段階でのフィルタリング 統合 フィルタリング リモート フィルタリング パイプライン フィルタリング Data Source ● ● ● ● MongoDBのアグリゲーションパイプライン 将来の SQL クエリサポート 将来のフォルダフィルタリング 将来の抽出ルール ● ● ● フィールドベースのフィルタリングに よる同期ルール クロールルール 未来抽出ルール ● ● ● 添付ファイルの取り込みプラグイン ML その他の処理系(ドロップなど)
MongoDB ⽤にカスタマイズされたフィルタリング MongoDB コネクタとコネクタクライアント 課題︓ ➔ ➔ 何を取り込むか、そして取り込んだデータをどのように変換して希望の 検索結果を得るかを定義する機能が必要 MongoDB ユーザーは、同期ルールにより取り込みをカスタマイズし、 コネクターワークフローの⼀部として集約パイプラインを含めたい ソリューション︓ ➔ フィルタリング機能により、摂取をより正確にコントロールできる ⚠ Platinum+ for self managed native connectors, Standard 🎉 Tech Preview in 8.6
必要不可⽋なモニタリング機能 課題︓ ➔ ➔ クローラーとコネクター間でより多くの機能の同等性を実現 オペレータは、コネクターと同期ジョブの状態(ステータス、 完了時間、同期設定へのドリルダウン)に対するより良い 洞察を必要とする ソリューション︓ ➔ トラブルシューティングを容易にし、統合とデータ同期の健 全性に対する洞察を深めることができる 🎉 Tech Preview in 8.6
推論パイプライン管理ツール NLP の導⼊と管理 課題︓ ➔信頼度閾値で定義された信頼度の⾼い値で簡単に検索 できる NLP 出⼒のフィールドを設定する柔軟性 ➔インデックスの推論履歴、エラー発⽣時のログ、JSON 設定 の閲覧・編集を容易にする機能 ソリューション︓ ➔より質の⾼い検索を実現するための Time-to-value の短縮化 ⚠ Platinum+ 🎉 GA in 8.6
コネクターフレームワーク・レジリエンスワーク ● 課題︓ ○ 2GB deployment, running MongoDB and MySQL 8.5 8.6 安定した統合を期待しながら、できるだけ少ない 労⼒で、あらゆるデータを使ってカスタマイズされた 検索体験を構築 ● ソリューション︓ ○ ● Ruby コネクタフレームワークはベータ版への移⾏ を続けており、より堅牢で、より優雅に過渡的な エラーを処理 Tech preview 4GB deployment, running MongoDB and MySQL 8.5 8.6
Roadmap
インターオペラビリティへの旅路 7.16 から始まる Kibana でのエンタープライズサーチ 8.4 8.5 8.6 8.7+ 検索に最適化されたインデックス、 コネクタフレームワーク(テクニカ ルプレビュー)、Elasticsearch エンジンと_search(ベータ 版) 検索ユースケースのための アクセス可能なMLツール とネイティブコネクタ; Elasticsearch エンジンと _search GA MongoDB ⽤にカスタマイズ されたフィルタリング、NLP を 実装・管理するためのツール の改善 新しいコネクター エンジン、検索テンプレート とクエリルール、新しい統合 と向上した分析機能 Aug 2022 Oct 2022 Jan 2023 …そしてその先へ
解決策はこちら - 8.6 機能概要 特徴 階層とステータス 概要 ビジネスソリューション Customized filtering for the MongoDB connector Platinum - Selfmanaged / Standard Cloud MongoDB ネイティブコネクタとコネクタクライアン トのフィルタリングをカスタマイズ MongoDB ユーザーは、コネクタのワークフローの⼀ 部として、フィルタリングルールを追加し、アグリゲーショ ンパイプラインを含めることができるようになった Tech Preview Granular scheduling for crawls Platinum - Self- managed / Standard Cloud Beta GA スケジューリングの際、お客様には、より詳細 クロールは、対象となるウェブサイトのトラフィックが多い なスケジューリングを⾏うベータ版エクスペリエンスを 時間帯を避けて、より柔軟にスケジュールすることがで 選択するポイントを提供 きる Enhanced connector health monitoring Basic / Standard Tech Preview コネクターフレームワークは、ベータ版への移⾏を続 コネクターとシンクジョブの状態をよりよく把握できるよ ける うになった。ステータス、完了時間、シンク設定のドリ ルダウンをすべて1つのビューで表⽰できる Network drive and Amazon S3 connector clients Basic / Standard Tech Preview ファイルシステム、ネットワークドライブ、Amazon S3 のソースからデータを取り込み、コネクターを カスタマイズして、検索に最適化された Elasticsearch のインデックスを最⼤限に活⽤ ファイルシステム/ネットワークドライブ/Amazon S3 に対して、検索ユースケースに応じた検索体験を構 築できるとともに、組織内のソースからデータを取り込 む柔軟性を獲得することができる Inference pipeline management tools Platinum Generally Available より質の⾼い検索を実現するための Time-tovalue の短縮化 お客様には、信頼性の⾼い値で検索しやすい NLP 出⼒のフィールド設定の⾃由度を⾼めると同時に、 管理ツールの充実を図った
技術的な詳細 クローラースケジューリング ● クローラー GA スケジューリング機能では、お客様にはより 詳細なスケジューリングが可能なベータ版への移⾏を選択 するポイントを提供 ● クローラーのインターバルベースのスケジューリングを引き続き 使⽤でき、アップグレードの際もそのスケジュールはそのまま 維持される
サポート性 インジェストのためのサイジングガイダンス • 新しいネイティブコネクタと Elastic Web Crawler を使⽤する 場合、8.5.0 からゾーンごとに最低 4Gb の Enterprise Search インスタンスを推奨 • 8.6.0で実施する関連変更点 • Enterprise Search は、Enterprise Search を 低メモリの展開 (Elastic Cloud 上のデフォルトの 2Gb インスタンスなど) で実⾏している場合、Kibana で ネイティブコネクタを使⽤することを右のメッセージでブロック し、UI ではネイティブコネクタに進むためのボタンを無効に
サポート性 コネクタクライアントとフレームワーク ● カスタマイズ可能な Enterprise Search 統合のためのオープン コード公開リポジトリ ○ connectors-ruby (旧名称 : connectors) ■ MongoDB コネクタクライアント ○ connectors-python ■ MySQL コネクタクライアント ■ Network Drive コネクタクライアント (new!) ■ Amazon S3 コネクタクライアント (new!)
サポート性 多項⽬検索に失敗する 多項⽬検索ができないのは コンテンツ > インデックス > ドキュメント UI • これは、Search Indices の導⼊以来、⽬に⾒える問題(例えば、 Elastic Web Crawler のユーザーがドキュメント UI からクロールしたド キュメントの URL または複数のタームを検索しようとすると、すぐにこの 問題にヒット) • 8.6.1 および 8.7.0 で修正される予定
技術的な詳細 コネクタクライアントとコネクタパッケージ ● connectors-ruby と connectors-python には、8.4 以降の検索最適化 Elasticsearch インデックス⽤の⾃⼰ 管理インフラストラクチャの取り込みメカニズムとして登録できる コネクタクライアントが含まれている ● connectors-ruby 8.3 ブランチには、Workplace Search と互換性のある SharePoint Online、Confluence Cloud 、Custom コネクタパッケージが含まれている ● 統合検索︓異なる Elastic データストアに保存されているコン テンツを⼀度に検索できる
情報の転送 8.6 Observability
Actionable Observability
Opsgenie コネクタ Elasticのアラートを Opsgenie に送る ● 課題︓ ○ 簡単で直接的な統合 ● ソリューション︓ ○ Elastic でのアラート回収時に Opsgenie でアラートを⾃動閉鎖 ● ライセンスレベル︓プラチナ ● 機能リリース状況︓GA Platinum GA
技術的詳細 カスタマーサクセス、セールス、マーケティングの技術チームに役⽴つ情報の特定 ● ● ● ● ● インテグレーションは Opsgenie の Alert API を使⽤する API URL は、地域(US、EUなど)に合わせてカスタマイズ可能 Opsgenie 上で⽣成された API 認証キーが必要 タグ、優先度、ソースなど複数のオプション・パラメータを受け付け、Opsgenie 側での追加 マッピングに役⽴てる 注意事項︓ ○ Opsgenie でアラートを適切に閉じるには、エイリアスが create と close の両⽅に ⼀致する必要あり(デフォルトで⼀致するため、変更しないでください) ○ ルールで使⽤する前にテスト・フォームを利⽤して統合をテストするようユーザーに奨励
アラート通知におけるコンテクスト属性 アラート通知にリッチなコンテキストを含める ● ● ● ● 課題︓ ○ 運⽤チームがアラート通知に適切に対応できる よう、コンテクストを充実させる ソリューション︓ ○ 通知⽤の⼝ひげテンプレートで利⽤可能なコン テキスト属性 ○ コンテキストに基づくアラートの検索、フィルタリング ○ インベントリルール、メトリクススレッショルドルール は本リリースでカバーされる ○ コンテキスト例︓ホスト ID/タグ、コンテナ ID、 クラウド ID ライセンスレベル︓Basic 機能リリース状況︓GA Standard/Basic GA
Alert 機能の UI 改善 ルールのクローン、ルールの詳細表⽰でのアラート検索を素早く実現 ● ● ● ● シンプルな UI でルールのクローンや微調整が可能 ルールの詳細表⽰に検索バーを追加し、関⼼のあるアラートの 検索を容易に ライセンスレベル︓Basic 機能リリース状況︓GA Standard/Basic GA
Application Observability
クリティカルパス解析 トレース期間を短縮する⽅法に関する実⽤的な洞察 ● ● 課題︓ ○ 個々のスパンが全体のトレース/トランザクション 期間に与える影響を可視化 ソリューション︓ ○ トランザクション全体の期間を短縮できるスパン を特定し、影響を与えないスパンは無視 ○ 個々のトレースサンプル、またはトランザクション グループ内の集約されたサンプルのクリティカル パスを調査 Standard/Basic Tech Preview
サポート性 新機能をサポートするために必要な情報を社内チームに 呼びかける ● この機能は、8.6ではデフォルトで無効になっている。 APM Labs の設定により有効にすることができる ● この機能は、個々のサービス内のトランザクションビュー や、Traces -> Explorer ビューで利⽤可能
Mobile APM サービス概要ページ UI/UX の強化 ⼀⽬でわかるアクショナブルインサイト ● ● 課題︓ ○ モバイル APM データでよく使われるフィルター にすぐにアクセス可能 ○ サービス概要ページでより実⽤的なインサイト を提供するため ソリューション︓ ○ KPI を地図上に表⽰する機能 ○ 最も使⽤されているアプリのバージョン、最も ⼀般的なデバイスのメーカー/モデルなど、実⽤ 的なインサイトを⼀⽬で確認できる Standard/Basic Tech Preview
APM サーバーの垂直スケーリング対応 APM サーバーのスケールアップが可能(スケールアウトは対応済み) ● ● 課題︓ ○ 統合サーバと Profiler Collector Agent の 規模を拡⼤するためのサーバ拡張要件に対応 ○ より⼤規模な APM サーバインスタンスの CPU 使⽤率とスループットの改善 ソリューション︓ ○ メモリが 8GB を超えるインスタンスに対して、 APM サーバーの垂直⽅向のリニアスケーリング を解除 ○ ESS とセルフマネージドデプロイメントの両⽅で、 より⼤きなインスタンスの APM サーバのスルー プットを向上させた 8GB 15GB 30GB 8.5.0 baseline 26,500 26,500 26,500 Autoscaled Active Indexers 31,500 53,700 98,100 免責事項 #表⽰されている数値はベンチマークテストの結果で あり、デモンストレーションを課題としたものです。 Standard/Basic GA Tec Preview
バックエンドの依存関係のパフォーマンス監視を強化 RCA にレイヤーを追加 ● 課題︓ ○ バックエンドオペレーションのトレースウォーター フォールビューを追加し、ボトルネックの特定を ⽀援 ● ソリューション︓ ○ バックエンドのオペレーション(スパン)に 粒度(メトリクス、エラー、トレース)を追加 することで、開発者や SRE がより深いレベル のトラブルシューティング能⼒を提供 Standard/Basic Beta
技術的詳細 バックエンドの依存関係の詳細を強化 ● ● デフォルトで有効化されるベータ版機能 機能の詳細設定が削除された(以前は技術 プレビューで利⽤可能)
Infrastructure Observability
Prometheus サーバーとの連携 Elastic Agent のための新しい Prometheus 統合により、 ユーザーは以下のことが可能になる ● Elastic Agent のメリットを享受(新しいインデックス 戦略、 フリート統合管理) ● Elastic Agentのユーザは、最も⼈気のある Cloud Native プロジェクトの1つから Elastic にデータを取り 込むことが可能 ● 統合に含まれるすぐに使える資産(現在ダッシュボード が含まれ、将来的にはアラートが提供される) Standard/Basic GA
Prometheus Server - 技術的詳細 ● データフローを構成する3つの⽅法 : ○ ○ ○ ● ● Prometheus Server Remote-Write Prometheus Queries (PromQL) ダッシュボードを含むアウトオブボックス Prometheus で⽣成された⾼カーディナリティの考察 ○ ● Prometheus Exporters (Collectors) ポッド名などのカーディナリティの⾼い変数でディメンジョン/ラベルを 作成しないこと 制限の設定に取り組んでいます。⼤規模なセットアップのユースケース があれば、ご連絡ください。
Prometheus サーバー統合 - サポート性 ● ● ⼤規模なセットアップのユースケースがあれば、ご連絡ください。 Prometheus で⽣成された⾼カーディナリティの考慮事項 ○ ポッド名などのカーディナリティの⾼い変数でディメンジョン/ラベルを 作成しないこと
Istio Integration Istio は、依然として最も⼈気のあるサービスメッシュ Elastic Agent の新しい Istio 統合により、ユーザーは 以下のことが可能に ● Elastic Agent のメリットを享受できる (新しいインデックス戦略、フリートの統合管理) ● 統合に含まれるすぐに使える資産 (ダッシュボード、アラート、⼀部予定) Standard/Basic Beta
Istio - Technical Details ログ取り込み ● Envoy のプロキシサイドカーコンテナから cri-o ログ形式で アクセスログを取得 メトリクス取り込み ● Prometheus 形式のエンドポイントからの Istiod メトリクス ● Prometheus のエンドポイントから Envoy のプロキシサイド カーコンテナからのプロキシメトリクス
Istio の統合 - サポート性 ● デフォルトのアクセスログ形式を⽤いた Cri-o ログ形式とカスタム フォーマット設定を⽤いた JSON 形式でのログをサポート ● 1つの OOTB ダッシュボードで、Istiod と Proxy の2つのメトリク スを視覚化 ● アクセスログは、相対的な統合テストと処理するためにインジェスト パイプラインを使⽤ ● メトリクスは prometheus/metrics の⼊⼒を使⽤し、統合テス トも⾏う ● Istio のデータセットは、Istio 1.14.3 でテスト済み ● 現在ベータ版で、アーリーアダプターからのフィードバック待ち
初めて Kubernetes を利⽤するユーザーへのオンボーディングを簡素化 3ステップのオンボーディングフロー Standard/Basic GA
Kubernetes のオンボーディングの簡素化 ● 初めて利⽤するユーザーのために、K8s 統合の ポリシーとトークンの設定を⾃動化 ● Elastic Agent のデプロイメントのコンバージョン率 を向上させる ● 初めて利⽤するユーザーが価値を得るまでの時間 を短縮し、障壁を低減します。 ● オンボーディングフロー ‒ <初めてのエージェントポリシー>作成の⾃動化 ‒ Kubectl による Elastic エージェントマニフェスト の適⽤ ➜ Kubernetes ダッシュボードの表⽰
Simplified Onboarding - 技術的詳細 ● Elastic Agent がインストールされていないユーザには⾒える ● 他のユーザは現在のインストールフローに従う ● ポリシーは “My first agent policy“ として作成される
GKE 向け Google Kubernetes アプリ 概要︓ ● ● Elastic Agent for GKE Google Kubernetes アプリが Google マーケットプレイスで公開 Google コンソール(またはコマンドライン)から、Elastic Agent を GKE クラスタに⾃動インストール、設定できる 詳細︓ ● ● ● 最も⼈気のある Kubernetes 環境 (GKE) 上で顧客 のオンボーディングエクスペリエンスを簡素化 価値創造までの時間を短縮 シンプルな2ステップ で Elastic に観測データを送信できる Standard/Basic GA
技術的詳細 - Google Kubernetes App for GKE ● ● ユーザーは Fleet サーバーの URL と Fleet UI で利⽤可能な Fleet enrollment token を提供 ユーザーは Elastic Agent をデプロイするネームスペースを選択 ○ Elastic Agent と同じネームスペースに kube-state-metrics をデプロイする または ○ ● ● ● Kubernetes の観測性を確保するために Kubernetes 統合ポリシーの Hosts 設 定を更新 Elastic Agent は DaemonSet としてデプロイされます。 アプリは⾃動的に Fleet に登録され、関連するエンロールメントトーク ンの関連する Agent ポリシーに基づいて観測可能なデータを収集 詳細なドキュメントは GitHub リポジトリ
GCP Elastic Agent の統合 概要 ● Elastic Agent で使⽤できる GCP メトリクス統合の フルセット ○ Billing, Compute, Dataproc, Firestore, GKE, Load Balancing, PubSub, Redis, and Storage 提供理由 ● UI ベースの統合セットアップによる簡素化されたスタート アップ ● OOTB ダッシュボードによる価値創造までの時間短縮 Standard/Basic GA
技術的詳細 - GCP Elastic Agent の統合 ● 既存のすべての metric beat GCP モジュールは、 Elastic Agent を経由した統合として利⽤可能 ● GCP ログとメトリクスの統合を1つのパッケージで提供し、 可視性を向上させ、お客様の導⼊作業を簡素化 ● 認証要件とセットアップの詳細を説明した統合ドキュメ ントの更新
Amazon Kinesis Data firehose 統合(ベータ版) 概要 ● ● AWS から Elastic Cloud にログ(後のフェーズではメトリクス) をストリームするためのホスティングされたエンドポイント Amazon コンソールで firehose 配信ストリームを作成し、 Elastic Cloud へのデータ送信を開始 提供理由 ● データ取り込みのために AWS や Elastic Cloud にインフラを インストールする必要がない ● TCO の削減とデータ取り込みパイプラインの簡素化 顧客にもたらす価値 ● すでにクラウド観測チームが本番環境の VPC フローや RDS ログを⼤規模に取り込むために利⽤中 ● 外部顧客である USAA で機能検証済み Standard/Basic Beta
技術的な詳細 – Firehose の統合 ● MS-84 では全ての AWS Elastic Cloud リージョンで利⽤ ● ● ● ● 可能 GA では Firehose のデスティネーションオプションとして Elastic Cloud が表⽰される可能性が⾼い(未確定) Elastic Cloud のデプロイメントバージョン7.17+をサポート コードは、サポートされているすべての AWS Elastic Cloud リージョンで実⾏されている既存のマルチテナント 「クラウドプロ キシ」サービスの⼀部である ユーザーはfirehoseの配信ストリームを作成し、Elastic に データを流すために以下を指定 ○ ○ ○ Elastic cloud deployment URL API keys オプションとして、パラメータ es_datastream_name を追加 して、特定のデータストリーム(OOTB AWS インテグレーション を利⽤)またはインデックスにログをルーティング可能
Citrix ADC 旧称︓NetScaler ADC - モノリシックおよびマイクロサービス ベースのアプリケーションのためのアプリケーション配信およびロード バランシングソリューション Elastic Agent を使⽤した新しい統合により、ユーザーは以下 のことが可能になる ● Citrix ADC インスタンスを監視し、トポロジー内の他の アプリケーションやサービスとのメトリクスを可視化し、相関 させることができる ● 負荷、リクエスト/レスポンスの傾向、主要データを測定して 最適化し、ビジネス上の洞察を導き出す ● MTTD と MTTR を削減するためのアラートを作成 Standard/Basic Beta
技術的詳細 - Citrix ADC ● インターフェイス、ロードバランシング仮想サーバー、サービ ス、システム、および VPN に関する統計情報(Citrix ADC 全体の仮想サーバーの負荷、クライアントサーバー 接続、要求および応答)を収集できる ● 5つのデータストリームすべてで収集されたメトリクスによる OOTB ダッシュボード ● Citrix ADC の v13.0 および v13.1 との互換性 ● ⾼度な設定によるデータストリームのタグ付けに対応 ● メトリクスの収集間隔の定義に対応
⼊⼒パッケージ ● 統合パッケージ - エージェント設定、⼊⼒、取り込みパイプラ イン、データストリーム、インデックステンプレート、可視化などの コンポーネントが含まれている ● ⼊⼒パッケージ - ⼊⼒とエージェント設定のみが含まれる ● Elasticスタックでサポートされるアセットの幅をカバーする柔軟 性を備えている ● インプットパッケージを経由して、サービスから直接 Elastic に ドキュメントを取り込むことができる ● ビジネスニーズに合わせてダッシュボードを柔軟に設計・作成す ることができる ● テクニカルプレビューの Jolokia StatsD と汎⽤ SQL の⼊⼒ は進⾏中 ● インジェストパイプラインとカスタムマッピングの追加は Fleet 側 で進⾏中
Jolokia ⼊⼒パッケージ 対象の JMX サーバーや専⽤プロキシサーバー上で動作している Jolokia エージェントからメトリクスを収集 ● Jolokia のエンドポイントを介して JMX Metrics を公開している あらゆるサービスのメトリクスを収集する機能 ● JMX Metrics を HTTP/REST/JSON で公開する Jolokia HTTP/REST エンドポイントと通信することで、メトリクスを収集で きるようにする ● Jolokia v1.7.0 と互換性があります。 ● 将来的には、ユーザーが独⾃のインジェスト・パイプラインを追加し、 あらゆるタイプのデータ処理を⾏えるようにする予定 Standard/Basic Tech Preview
MSSQL の機能強化 ⼀般的な SQL メトリックビート⼊⼒に基づく最初の統合。 GA に向けた改良を実施 : ● ネームド・インスタンスのサポート ○ 同⼀ホスト上の複数のデータベースをサポートするために、名前付き インスタンスまたはポートの詳細を設定する機能を導⼊ ○ インスタンス名とホスト名を⽤いて、 メトリクスを収集するため、名前 付きインスタンスへの接続を確⽴(例 : `host/instance_name` または `host:named_instance_port`) ● メトリクスの個別インスタンスへのマッピング ○ インスタンス名やサーバー名を元にフィルタリングすることで、Kibana でデータを可視化できる ○ KQL クエリを使ったフィルタリングが可能
MSSQL の機能強化 ● ユーザー定義データベースのサポート ○ ユーザーデータベースからの "transaction_log" メトリクスの収集 に対応 ○ ● 設定中に、メトリクスを取得するデータベースのリストを提供可能 ダイナミックカウンター名 ○ 要件に基づき、ユーザーが希望するカウンターの追加フィールド/ パフォーマンスメトリクスを動的に収集する機能 ○ 動的カウンターを設定するためのクエリーパラメーターとして、 キーワードまたはワイルドカード正規表現を提供することをサポート
情報の転送 8.6 Security Solution Jan 9, 2023
導⼊と8.6の背景 アナリストのワークフローを合理化 エンティティ アナリティクス アジェンダ Elastic Security for Cloud(エラスティック・セキュリティ・ フォー・クラウド エンドポイント向けエラスティックセキュリティ スレットインテリジェンス データ統合 検知エンジニアリングワークフロー 事前構築された検出コンテンツ
The Elastic Security Solution Modern Security Operations Platform
Endpoint Detection & Response (EDR) Extended Detection and Response (XDR) SOAR Cloud Security SIEM Always lead with SIEM! Threat Intelligence
Endpoint Detection & Response (EDR) Extended Detection and Response (XDR) SOAR Cloud Security Threat Intelligence
モダンエンタープライズ企業のためのセキュリティ運⽤ 1 オープン&トランスペアレント 2 3 4 5 (アクショナブル) アナリティクスを駆使した スピードとスケーラビリティ オートメーション マルチクラウドネイティブ
Elastic Security の特⻑ オープン&インテグレート ネイティブの保護 明⽇のスケールに備えて ⾃動化されたインサイト ハイブリッドクラウド 柔軟なデータ取り込みと、ベンダーロック インのないコミュニティサポート 60以上の ML モデルと脅威の研究に より、700以上の MITRE マップされた 防御、検知、応答のルールを提供 Elasticsearch のメーカーが提供 する、あらゆる規模の組織に対応す る拡張性 専⾨家が構築したランブック、⾃動エン リッチメント、プリバレント、統合リスク AWS、GCP、Azure、オンプレミスに 対応する単⼀ソリューションで、データ バックホールが不要に
Elastic Security SIEM Threat Detection, Investigation, and Response Endpoint / XDR Cloud Next Generation Anti-Virus (NGAV) Cloud Posture Management (K/CSPM) Endpoint Detection and Response (EDR) Cloud Workload monitoring and protection (CWP) Investigate MODERN SECURITY OPERATIONS Protect Respond (TDIR)
お客様のビジネス規模に合わせたマルチクラウド/ハイブリッド分析 Elastic Security Cloud Elastic Security Central Instance Federated queries from central instance Efficient query results sent to central instance Distributed instances Google cloud Amazon cloud Azure On-prem
Elastic Security Labs による専⾨的な研究 ➔BLISTER Loader, Follina CVE, CUBA Ransomware, BPFDoor などの脅威研究と マルウェア分析を反映した初の年次グローバル脅威 レポートを最近発⾏ ➔すぐに使える検出ルールと教師なし ML モデルに よるセキュリティチームの強化 ➔マルウェア、ランサムウェア、メモリなどのセキュリティ 成果物を収集 ➔トリアージおよび調査ガイドにより、アナリストの学 習曲線が短縮される www.elastic.co/security-labs
8.6 Capabilities アナリストの ワークフローを 合理化 Status Subscription Cloud/SelfManaged Tines コネクター GA Platinum / Gold タイムライン バルクアラート アクション GA Standard / Basic MITRE ATT@CK™ in アラートフライアウト GA Standard / Basic Tech Preview Platinum / Platinum* インタラクティブな調査ガイド
ルールアクション⽤ Tines コネクタ ● 課題︓ ○ Tines と Elastic は、SOAR 機能により、 セキュリティ運⽤チームが滞留時間、平均 応答時間、偽陽性率を劇的に削減する ことを可能にします。 ● ソリューション︓ ○ 以前は Elastic と Tines を統合のため、 ○ ○ Platinum/Gold Enterprise Platinum Gold OSS ユーザーは Webhook コネクタを使って Tines にデータを転送する必要があった これは⾮常に煩雑で分かりにくい Tines のコネクタを使えばシンプルなフォーム で統合し、コネクタをルールアクションとして 追加してアラートを転送することができる GA
ルールアクション⽤ Tines コネクタ JSON の変換は不要! Standard/Basic Enterprise Platinum Gold OSS GA
アラートフライアウトの MITRE ATT & CKTM アラートトリアージに必要なルール情報 ● 課題︓ ● ソリューション︓ ○ ○ ○ Standard/Basic Enterprise Platinum Gold OSS MITRE ATT&CK™ フレームワークは、事前 に構築されたルールで多⽤されているところ、 アラートのフライアウトで対応する技術情報が 失われていた アラート(ATT&CK情報を利⽤可能)を閲 覧する際、ユーザーはその情報を概要の⼀部 として⾒ることができるようになった アラートにおけるルール要約を拡張するための 反復的なステップ GA
Timeline バルク アラートアクション セキュリティ調査体験が複数のアラートで可能に ● 課題︓ ○ 今⽇、Timeline はセキュリティソリューションの ○ デフォルトの調査体験であり、Timeline との インタラクションのほとんどは、アラート⾏ごとの アクションか、フィールド/セルからの個々の ピボットのどちらかで発⽣ ユーザーは Timeline で複数のアラートを⼀ 度に⾒ることを期待するところ、それが可能に ● ソリューション︓ ○ アラートテーブル(および他の EUI データ グリッドテーブル)の複数の⾏を選択すると、 対応するドキュメント ID が調査する Timeline に追加される Standard/Basic Enterprise Platinum Gold OSS GA
Interactive Investigation Guides インベスティゲーションガイドとの Timeline 統合 ● 課題︓ ● ソリューション︓ ○ ○ ○ Enterprise Platinum* Platinum Gold OSS 今⽇、当社の調査ガイドは、アラート を調査する⽅法について必要な、 しかし静的なガイダンスを提供 OSQuery ガイドプラグインと同様の 機能を利⽤し、ユーザーはガイド内に Timeline とのインタラクションを追加 することができるようになった イベントからリテラルまたは置換された フィールドを使⽤することで、ユーザー は結果を事前に計算し、Timeline で⾒ることができるようになった Tech Preview * テクニカルプレビューではサブスクリプションは適⽤されません。
Entity Analytics
8.6 ハイライト 1.データ流出の特定 - アドバンスド・アナリティクス 2.アナリスト・ワークフロー 3.近⽇公開... License: Platinum
データ流出の特定 インサイダー脅威のユースケースをカバーするアドバンスド・アナリティクス ● ● ● 課題︓ ○ 異常検知を利⽤して、ネットワーク内からデータを流 出させようとするユーザーやホストを特定 ソリューション︓ ○ アナリストは、ユーザーのアクセスを積極的に特定し、 機密情報の喪失を防ぐことができます。 ○ フリートインテグレーションの展開 ○ 対象となるユースケース ᐨ External web-services (例︓GitHub) ᐨ Cloud storage services (例︓ Dropbox) 機能リリース状況 : GA
フリートインテグレーションパッケージポスト8.6として販売中
Entity Riskで調査する Entity Analytics のダッシュボードから Investigation を起動 ● 課題︓ ● ソリューション︓ ○ ○ 調査およびトリアージワークフロー における MTTD の削減 アナリストは、新規/既存の調査 に、リスクのあるエンティティに関連 するアラートを追加できるように なった
近⽇公開… ● Entity Analytics ダッシュボードからの アラートフィルタリングの強化 ● リスクスコアリングにおけるエンティティウォッチ リスト機能
Cloud Security
TODAY 8.2 Initial cloud security launch for Cloud Security 8.5 GA of cloud Security 8.6 Enhancement s Launch MMP ! Join forces with build.security and Cmd 2020 2021 2022 April 2023
Cloud Security ハイライト 総括とハイライト 1.8.2および8.3のベータ版で Elastic Security for Cloud を導⼊ 2.8.2では、Linux/VM ベースのワークロードに適したセッションビューアや eBPF データ収集などの機能を備えたエンドポイントセキュリティと、VM 向けのクラウドワークロードプロテクション(CWP)統合を発表 3.8.3で、Kubernetes Security Posture Management(KSPM) の統合、CIS Kubernetes Benchmark in Tech Preview を発表 4.8.5では KSPM と CWP for VMs を⼀般に利⽤できるようにした 5.今⽇、8.6では、⼀般に利⽤可能な機能の拡張を発表 6.8.7と8.8では、CSPM、Vulnerability Management、Drift Prevention のリリースに向けて取り組んでいる Use Case Cloud/ Kubernetes Posture Management Cloud/Kubernetes Workload Protection SelfManaged Enterprise Enterprise Cloud Standard Enterprise
KSPM k8s の設定リスクの特定と修正 ● ● ● ● 課題︓ ○ Kubernetes の構成の柔軟性と動的な性質は、 セキュリティコンプライアンスを満たすこと、コンプライ アンスを維持すること、それを証明することを困難に している ソリューション︓ ○ K8s の CIS ベンチマークに対するコンプライアンス を測定 ○ 設定リスクの特定と修正による k8s の攻撃対象 範囲の縮⼩ GA︓ ○ Performance at scale and in production⚡ ライセンスレベル : ○ Cloud(ESS) - Standard ○ Self-managed - Enterprise
KSPM の詳細 ● 下記をサポート ○ セルフマネージメント / Vanilla k8s ○ Amazon EKS ᐨ セルフマネージドノードおよびマネージドノードグループのサポート ᐨ EKS on Fargate はサポートされていません ᐨ AWS Fargate 上で Amazon EKS を使⽤するお客様は、 ノード管理の責任を負いません ᐨ 複数認証⽅式に対応 ᐨ AWS IAM ロール ᐨ AWS の⼀時的なクレデンシャル ᐨ AWS 共有クレデンシャルファイル ᐨ AWS アクセスキーとシークレット ● KSPM を使い始めるためのステップバイステップガイドを含む⾮常に詳細なドキュメント
近⽇公開予定 : CSPM for AWS のご案内 8.7でベータ版として提供予定 ● ● ● AWS(S3、EC2、RDS など)のリソースの設定ミスを 特定する AWS を利⽤する全てのお客様がこの統合を利⽤できる アーリーアダプターのためのベータプログラムを⽤意
CWP - セッションビューの強化 ファイルおよびネットワークのアラートがセッションビューアに表⽰ ● ● ● ● 課題︓ ○ セッションビュー調査ツールの拡張により、ワークロード 保護に関するすべてのゴールデンシグナル(プロセ ス、ファイル、ネットワーク)を含めることができる ソリューション︓ ○ セキュリティアナリストがファイルおよびネットワークア ラートを調査する際のMTTRを短縮するのに役⽴つ ○ セッションビューで異なるタイプのアラート(プロセス、 ファイル、ネットワーク)を表⽰することで、セキュリティ アナリストに⼀度でより良いコンテキストを提供 GA︓ ライセンスレベル : ○ Cloud(ESS) - Enterprise ○ Self-managed - Enterprise
CWP - 環境変数のインストルメント Elastic Defend が Linux OS の環境変数をキャプチャできるようになった ● ● ● ● 課題︓ ○ 環境変数は、現在実⾏中のプロセスや Linux 環境下 で実⾏されるプロセスに影響を与える ソリューション︓ ○ 悪意のあるランタイム動作の検出を容易にする ○ カスタムツール/PAM モジュールの助けを借りて、ユーザー ID 認証の課題で活⽤される GA ︓ ライセンスレベル ︓ ○ Cloud(ESS) - Enterprise ○ Self-managed - Enterprise
CWP 詳細 ● 下記をサポート ○ Elastic Defend に対応した Linux OS はこちら ○ Amazon EKS ○ Google Kubernetes Engine (GKE) ○ Kubernetes のセットアップ⽅法と詳細なサポートマトリックスについては、こちら ● 新しい機能拡張については、リリース後、該当するセクションでお客様向けのドキュメントを 提供する予定
Elastic Security for Endpoint
Elastic Security for Endpoint Elastic Defend Integration for Agent を通じて提供 位置付け AV、NGAV、EDR の置き換えや追加、そしてセキュリティ分析をお考え のお客様には、Elastic Security をお勧め : ● ● ● ● 機械学習型マルウェアとランサムウェアの対策 ランサムウェアの予防のための追加レイヤー メモリ脅威と悪意のある⾏動の防⽌ MITRE ATT&CK にマッピングされた数百の検出を持つ EDR 他のエンドポイントセキュリティベンダーとは異なり、Elastic はエンドポイン ト予防、エンドポイント検出と応答、XDR のユースケースを単⼀エージェ ントと単⼀統合セキュリティプラットフォームで解決 エンドポイントセキュリティの主な競合製品 ● ● ● ● ● ● ● ● ● ● Microsoft Defender 365 Crowdstrike Sentinel One Singularity Core Sophos Malwarebytes Bitdefender Broadcom/VMware - Carbon Black Blackberry Cylance Trend Micro Palo Alto Networks (Cortex XDR) Subscription Cloud / SelfManaged Use Case AV/EDR Augmentation with Advanced Data Collection Standard / Basic Anti-Virus Standard / Basic Platinum / Platinum Next Generation Anti-Virus Endpoint Detection and Response (EDR) Enterprise / Enterprise eXtended Detection and Response (XDR) Enterprise / Enterprise Endpoint Security FAQ
10,000台のエンドポイントを導⼊した MSSP 500台の Endgame センサーを エージェントに移⾏しました。 17,000台のエンドポイントを展開す る MSSP Elastic Security for Endpoint – 成功事例を⾒る 8,000台のエンドポイント 導⼊ McAfeeからのリプレース 5,000台のエンドポイントに 導⼊ 2,500台の Endgame センサーを エージェントに移⾏しました。 10,000エージェントをosquery managerで展開。 80,000エージェントへの拡張の可能性 3,500以上のクラスタに15万台以上のエンドポイントを展開
Elastic Security for Endpoint - 8.6 Elastic Defend Integration for Agent を通じて提供 Protect Windows macOS Linux Subscription Cloud / SelfManaged Malware Prevention ✓ ✓ ✓ Standard / Basic Centralized Detection via Detection Engine Rules ✓ ✓ ✓ Standard / Basic Blocklist ✓ ✓ ✓ Standard / Basic Memory Threat Prevention ✓ ✓ ✓ Platinum / Platinum Behavioral Prevention (on Endpoint Rules) ✓ ✓ ✓ Platinum / Platinum Ransomware Prevention via Behaviors, MBR, Canary Files ✓ Coming Soon Coming Soon Platinum / Platinum Attack Surface Reduction (Credential Protection) ✓ ✓* ✓* Platinum / Platinum Operationalized and Centralized Machine Learning Detection ✓ ✓ ✓ Platinum / Platinum *ビヘイビアルールによる実装
Elastic Security for Endpoint - 8.6 Elastic Defend Integration for Agent を通じて提供 Investigate Windows macOS Linux Subscription Cloud / SelfManaged Centralized Management and Reporting ✓ ✓ ✓ Standard / Basic Centralized Investigation and Threat Hunting ✓ ✓ ✓ Standard / Basic Threat Hunting with osquery ✓ ✓ ✓ Standard / Basic Case Management ✓ ✓ ✓ Standard / Basic Coming Soon Coming Soon ✓ Enterprise / Enterprise Visualize user and services sessions
Elastic Security for Endpoint - 8.6 Elastic Defend Integration for Agent を通じて提供 Respond Subscription Cloud / SelfManaged Windows macOS Linux Host Isolation ✓ ✓ ✓ Platinum / Platinum Endpoint Self-Healing ✓ - - Platinum / Platinum Response Console ✓ ✓ ✓ Enterprise / Enterprise - Enumerate Running Processes ✓ ✓ ✓ Enterprise / Enterprise - Suspend Process ✓ ✓ ✓ Enterprise / Enterprise - Kill Process ✓ ✓ ✓ Enterprise / Enterprise - Other Actions Coming Soon Coming Soon Coming Soon
Whatʼs New in 8.6 Elastic Security for Endpoint
Endpoint Response RBAC
レスポンスアクション - ロールベースアクセスコントロール ユーザーが実⾏できるさまざまな種類のレスポンスアクションを制御することができる ● ● 課題︓ ○ 管理者と運⽤管理者は、チーム内の⼈にきめ細かい アクセス権を与えることができ、何でもかんでも権限を与え る必要がないようにする必要あり ソリューション︓ ○ レスポンスアクションを実⾏する Kibana ユーザーのロール ベースアクセスコントロールを改善し、セキュリティチームが 最⼩権限を実践できるようになった ● ライセンスレベル ︓ ○ Cloud - Platinum ○ Self-managed - Platinum ● 機能のリリース状況︓ GA Enterprise Platinum OSS GA
技術的詳細 ⼀元化されたレスポンスアクションの履歴 ● Kibana の機能特典はプラチナ機能 ● (プラチナ)ユーザーは、レスポンスアクションを使⽤するために「スーパーユーザー」アクセス権が ● ● ● ● Enterprise Platinum OSS 不要に これらのアクションは現在スペースに依存せず レスポンスアクションの特権を設定するには「すべてのスペース」が必要 レスポンスアクションの履歴権限では、ロールを「すべて」、「読み取り」、「なし」に設定すること ができる レスポンスアクションの特権では、ロールは「すべて」または「なし」に設定することができる GA
サポート性 レスポンスアクション – RBAC 対応 ● ホストの分離の内容 ○ ネットワークからホストを分離する機能 ○ ホストを隔離から解放する機能 ● プロセス操作の内容 ○ 実⾏中の全プロセスを表⽰する機能 ○ プロセスを停⽌または終了させる機能 ○ プロセスを⼀時的に停⽌する機能 ● ユーザーがレスポンスアクションの権限を持っていない場合、レスポンス ● コンソールのヘルプメニューにそのアクションは表⽰されない また、レスポンスコンソールからそのコマンドを実⾏することもできない Enterprise Platinum OSS GA
Endpoint Protections
ランサムウェアカナリアの再実装とリリースについて 新しい Canary アルゴリズムによるランサムウェア対策の向上によりランサムウェアを迅速に検出 ● 課題︓ ● ● ○ LPE のセキュリティ脆弱性により、ランサムウェアのカナリアをデフォルトで無効化する必要があった ランサムウェア︓ ○ ランサムウェアのカナリアは、アルゴリズムを改良して再実装され、セキュリティ上の脆弱性が取り除かれ たため、今後はデフォルトでオンに 機能のリリース状況 : GA
悪意のある⾏動の防⽌ - カバレッジ ※ 挙動不審防⽌ルールは、スタックリリースから帯域外のアップデートです。最新の情報はオープンレポをご覧ください。 Platinum OSS GA
Endpoint Investigation with osquery
Osquery パックをグローバルにスケジューリング ● ● ● ● 課題︓ ○ パックのセットアップを簡素化し、⾃動化すること で、エージェントのフリートが変わってもクエリーを ⾃動的にスケジュールすることができる ソリューション︓ ○ ユーザーが⼿動で各ポリシーを選択することなく、 全てのエージェントポリシーのパックをスケジュール できる 機能のライセンスレベル : ○ Cloud - Basic ○ Self-managed - Basic 機能のリリース状況 : GA Standard/Basic Enterprise Platinum Gold OSS GA
技術的詳細 グローバル OSQuery パック ● グローバルパックを有効にすることは、デフォルトスペース内でのみ可能 ● 新しいポリシーが追加されると、そのポリシーはすべての「グローバル」パックに追加 される Standard/Basi Enterprise Platinum Gold OSS c GA
シャード構成によるクエリパックの展開⽅法 ● ● ● ● ● 課題︓ ○ 新しいクエリのスローロールやテストのための改良 された⼿段を提供 ソリューション︓ ○ クエリを対象ホストの割合(1〜100)に制限 する「シャード」を設定し、ユーザーがクエリの決 定版である「プレビュー」を選択できるようにする 機能のライセンスレベル : ○ Cloud - Basic ○ Self-managed - Basic 機能のリリース状況 : GA 詳細設定︓デフォルトでは、ポリシーに関連するホスト の100%でクエリを実⾏ Standard/Basic Enterprise Platinum Gold OSS GA
Endpoint Performance & troubleshooting
エンドポイントパフォーマンス ● ● ● 概要 ︓ ○ CPU とメモリの使⽤率に関して、パフォーマンスは まだ期待できるレベルではない ○ 我々は、継続的に統計情報を監視し、システム パフォーマンスへの影響について報告された問題 に対処していく ○ 現在の数値 : ᐨ CPU: average 1-5% ᐨ Memory: between 100-500MB 機能のライセンスレベル : Basic/Standard 機能のリリース状況 : GA ● Performance OKR: ○ CPU︓95%のエンドポイントで2%CPU未満 メモリ︓500MB以下(90%のエンドポイントにおいて
エンドポイントパフォーマンス
詳細 フリートマネージドエージェントの8.6倍は5万エージェントの 管理規模 5万⼈規模の場合 Fleet/Agent Scale ● ユーザーが Agent を登録することができる ● Agent の登録を解除することができる ● Agent のアップグレード ● Agent ポリシーの更新 ● ユーザーによる統合の更新 ● 統合ポリシーの更新 注︓Agent と Fleet Scale の詳細については、 Platform Enablement をご参照ください。
Threat Intelligence
ケースによる脅威情報のエスカレーション アナリストが関連する脅威情報を他のチーム/ワークフローにエスカレーションできるようにする ● ● ● ● 課題︓ ○ セキュリティ・ソリューションに脅威インテ リジェンスの機能を導⼊する ○ TI 機能とセキュリティ・ソリューションの連 携強化 ○ 脅威インテリジェンスに実⽤性を持たせる ソリューション︓ ○ 脅威インテリジェンスは、脅威と関連する コンテキストを新規および既存のケースに エスカレートするための簡単な⽅法を提供 ○ SOC の他の役割やメンバーと Indicators of Compromise (IoC) を簡単に伝達できる ○ エスカレーションされた脅威に対して実⾏ されたアクションを CTI アナリストに可視化 ライセンスレベル ︓Enterprise 機能のリリース状況︓GA
技術的詳細 ● Threat Intelligence モジュールの前提条件 : ○ ○ ○ ○ ユーザーは、1つ以上の TI フィードを有効にしているか、他の⼿段でインジケーターデータ を取り込んでいる必要がある IoC ドキュメントは、Kibana の securitySolution:defaultIndex 設定で指定され たインデックスの⼀部でなければならない 指標⽂書が ECS スキーマに適合していること バージョン 8.0 以前の Filebeat の統合はサポートされていない
Data Integrations
セキュリティインテグレーション 8.6 における新しい統合 ● AWS Inspector ● F5 BIG-IP ● Google Workspace Alerts Center ● Google Workspace Data Loss Prevention (DLP) ● Microsoft 365 Defender ○ Defender for O365, Endpoint, Identity and Cloud Apps ● Microsoft Exchange Message Trace ● Trend Micro Vision One XDR ● Sysmon for Linux
Detection Engineering Workflows
Alert 抑制機能(MVP) ● ● ● ● ● 課題︓ ○ ⼤量のアラートにより、効果的なトリアージと真の 脅威の特定が困難 ○ ルールと⽣成されるアラートを効果的に調整する ための柔軟性が向上し、価値創造までの時間 が短縮 ソリューション︓ ○ Alert 抑制機能(スロットリング)を設定するこ とで、より効果的にカスタムルールをチューニング できるようになった ライセンスレベル: Platinum リリース状況 : Technical Preview 既知の問題点 : ○ 現在、カスタム・ルールまたは重複したプリビルド・ ルールでのみ利⽤可能 ○ 現在の抑制ウィンドウは、ルールの実⾏頻度と 同じ
Shared Exception Lists による⾼度な例外管理 ● ● ● ● ● 課題︓ ○ 例外処理機能は、アラートノイズを軽減するための 極めて便利なツール ○ 過去数回のリリースでは、視覚的な UI を少しずつ 改善してきたが、今回のリリースでは、開始以来、 初めての⼤規模なワークフローの改善をリリース ソリューション︓ ○ 共有例外リストの概念を導⼊(ルール間で共有し、 作業の重複を減らす) ○ ⾼度な例外管理の UI/UX とワークフローを紹介 ライセンスレベル : Standard/Basic リリース状況 : GA 既知の問題点 : None
ML ジョブマネジメントの UX 改善 ● ● 課題︓ ○ これまでのワークフローでは、事前に構築された ML ルールに関連するMLジョブを特定し、それらのジョブを 確実に有効化することは、ユーザーにとって直感的で なかった ソリューション︓ ルールの有効化の⼀部として ML ジョブの有効化を 試みるようにした ユーザーは、ルールテーブルから基礎となる ML ジョブ で問題が発⽣したときに簡単に観測でき、トラブル シューティングがより簡単に ML ルールの中で ML ジョブを⼿動で有効化/無効化 することができなくなった ライセンスレベル : Platinum リリース状況 : GA 既知の問題点 : None ○ ○ ○ ● ● ●
新規⽤語の多項⽬サポートルールタイプ ● ● ● ● ● 課題︓ ○ 8.4 で新規条件ルールタイプを導⼊したものの、 Telemetry から多くのユーザーがすでにこの ルールを活⽤していることが判明。 ○ これらの改良は(ユーザーから要望のあった) 追加機能を提供するもの ソリューション︓ ○ ルールタイプの構成がより柔軟になり、複数の タームを指定できるようになったことで、ユーザー にとっての付加価値が向上 ライセンスレベル : Standard/Basic 機能リリース状況 : GA 既知の問題点 : None
例外を含むルールの複製時の柔軟性の追加 ● ● ● ● ● 課題︓ ○ これまで、ルールを複製すると、必ず元のルールと 複製されたルールの間でルール例外リストへの参 照が共有されるようになっていた ○ このため、⽚⽅のルールの例外を更新すると、意図 しない結果になることがあった ソリューション︓ ○ ルールを複製する際に必要な例外リストの動作を 明⽰的に記述する機能を導⼊ ○ これにより、柔軟性が向上し、問題やトラブル シューティング、エスカレーションの可能性が減少 ライセンスレベル : Standard/Basic 機能リリース状況 : GA 既知の問題点 : None
Pre-built security
インタラクティブ調査ガイド Osquery 搭載 ● 概要︓ ○ ● ● プレイブック的な機能を⽬指 したガイドの改善 技術的詳細︓ ○ OSqueryの調査⼿順を インタラクティブに説明する 38のガイドを⽤意 既知の問題点︓ ○ 現在、ガイドが正しく表⽰され ていない。次回の OOBルール の更新で修正される予定
インベスティゲーションガイドの更新 調査に関する専⾨的なアドバイスの提供 ● 概要︓ ○ ● ● MTTD の低減に役⽴つガイド付き事前構築ルールの カバー率を向上させるための継続的な取り組み 技術的詳細︓ ○ 調査ガイドタグによる調査ガイド付きルールの探しやすさ 既知の問題点︓ ○ None Standard/Basic Enterprise Platinum Gold OSS GA
新しいプリビルド検出ルールでカバー率を向上 概要︓ディテクションルールコーブの改善への継続的な取り組み 技術的詳細︓ ● 新⾼次ルール。1つのホストで異なる ATT&CK 戦術に対して複数 の警告を出す ● 新ルール テクニック+3、サブテクニック+3 Linux - 名前付きパイプを経由したリバースシェルの作成 Windows - アクセストークンの操作、PowerShell プロファイルによる永続化 Linux/macOS - ファイル名の後にスペースをマスカレード する K8s - 過剰な Linux 機能で作成された K8s コンテナ ○ ○ ○ ○ ● Tuned Rules (Logic Changed): 15 Windows と Linuxを中⼼に 既知の問題点︓None Standard/Basic Enterprise Platinum Gold OSS ○ GA
Security Solution - 8.6 機能概要 Feature Subscription Tier Description Business Value (Cloud / Self-managed) & Status Case Assignments Platinum / Platinum アラートなどの調査結果を Case にエスカレーションしたユー Generally Available ザーは、その Case をチームメンバーに割り当てることができ るようになりました。 Elastic User Profiles を利⽤することで、インシデント対応 時の組織間の連携やコラボレーションをより効果的に⾏うこと ができます。 Entity Details with Alerts Standard / Basic Generally Available セキュリティソリューションの単⼀エンティティ(ホスト、ユーザー アラートを調査するための迅速なピボットポイントと、該当する など)を表⽰する際、関連するアラートをすぐに確認できるよ エンティティに対する⾃然な優先順位付けを提供します。 うになりました。 Alert Reason with Investigative Pivoting Standard / Basic Generally Available アラートの理由には、置換された各フィールドのホバーアクショ イベントレンダリングは、1つのログ(イベント)を読むための ンを持つ単⼀のアラートを読み取るための(イベントレンダリ トークン化された⽅法で、ホバー操作によりタイムラインに簡単 ングのような)トークン化されたメソッドが含まれます。 にピボッティングして調査することができます。 Auto-Tune Analyzer Standard / Basic Generally Available Analyzerは、プロセスツリー全体を正確に表⽰するために 時間を⾃動調整します。 グラフが⾃動的に正しい時刻をレンダリングし、プロセスツリー 全体を表⽰するため、ユーザーはAnalyzerで⼀貫した体験 をすることができます。 Interactive Investigation guides Standard / Basic Generally Available 調査ステップとして、インタラクティブなオスクエリ・コールアウト を備えた38のガイドを⽤意しました。 ユーザーがアラートを調査する際の時間を節約することができ ます。
情報の転送 8.6 Stack & Cloud
⾔語クライアントの設定 課題︓ ● ⾔語クライアントは、ユーザーにとって⼈気のあるインジェスト ● パス ユーザーは詳細な⼿順なしにこのドキュメントにリンクされて いたため、物⾜りなさを感じていた ソリューション︓ ● 全てのユーザ、特に Elastic を初めて使うユーザにとって、 アプリケーションに簡単に接続できる⾔語クライアントのセット アップ⽅法について明確な説明があることは⼤きなメリット ● セットアップのためのドキュメントを閲覧する時間が短縮され る 初期リリースでは、Java、Python、.NET など、⼈気のある 各種開発⾔語をサポート
Platform - Management Experience
OpsGenie コネクタ 概要: • 検出されたアラートに基づいて、顧客が OpsGenie アラートを作成 および回復できるようにする新しいコネクター ソリューション: • OpsGenie は、IT 市場においてコラボレーションとアラート管理の 分野で⼀般的な存在 • このコネクターは、顧客の IT 組織内での採⽤を拡⼤し、顧客の 新しいユースケースを解放するのに役⽴つ Next steps: • OpsGenie のインシデントをサポートし、Kibana のケースからトリ ガーする Platinum GA
ケースユーザビリティの向上 概要: より良い案件管理、コラボレーション(グループまたは個⼈)のための新機能︓ • • ケースのエスカレーションへの対応時間を短縮するために、ユーザーがケースにアサイン されたことをメールで通知 • 担当者がいないケースでフィルタリング • ケースからのアラートリンクの解除 • ケースのステータス、タグ、およびケースの重要度を維持するための⼀括アクション • サードパーティへの共有ペイロードの⼀部としてケースの URL を提供し、より多くの ユーザがElasticのサービスを調査できるようにした • より良いコラボレーションのために案件のタイトル制限を拡⼤ ソリューション: ユーザビリティを向上させ、より良い体験、コラボレーション、ケースの採⽤を実現 • Next steps: ケース活動記録 • Standard/Basic Enterprise Platinum Gold OSS GA
Per Policy Fleet Servers オンプレミスでの Fleet サーバーの追加を容易に ● 課題︓ ○ ○ ○ ● ⼤規模な事業者では、Control Plane のトラフィックを DMZ 内に封じ込める必要がある可能性 MSSP は、各テナント間でトラフィックを分離する必要あり ポリシー内のすべての Agent は、ローカルに作成された Fleet Servers(グローバルフリートサーバのセットとは 異なる)のクラスタに接続したい ソリューション︓ ○ ○ ○ Fleet Servers のクラスタ展開が容易に Agent の分離された Fleet への容易な展開 Fleet Servers のライフサイクル管理の向上(Agent インストールなし) Standard/Basic Enterprise Platinum Gold OSS GA
アドホックデータビューでより柔軟な 分析が可能 課題︓ ○ ○ ○ ○ 詳細︓ ○ ○ ○ Standard/Basic アナリスト・ユーザーがデータを探索し、他者と共有する必要なく データを可視化できるようにしたい データビューを独⾃に選択して作成したい 管理者は、ユーザーの反復作業を制限することなく、どのデータ ビューを変更できるかを制御したい ソリューションチームは、より簡単にプラットフォームアプリケーション の経験を統合したい Discover のアドホックデータビューで ES クエリアートを作成 する データビューのピッカーでアドホックデータビューをすばやく作成する ピッカーでアドホックデータビューを恒久的なものと区別するた め ”Temporary” ラベルを表⽰ GA
統⼀されたフィールドリスト 課題︓ ● Kibanaでフィールドリストを使⽤する際の、ユーザーエクスペリエンスの統⼀を継続する。 ○ 8.5で追加された機能 (Top 5 ⇒ Top 10、サンプルサイズの増加、分布、Discover で Top values をフィルタリング)。 ● フィールドリストのポップオーバー内で価値あるインサイト(トップ10、分布など)を提供することで、イン サイトまでの時間を短縮します。 ● ソリューションチームは、プラットフォームアプリケーションの経験をより簡単に統合することができます。 詳細︓ ● ● Lens に追加: ○ ○ ○ トップバリューの条件をフィルタリングして除外する フィールド統計ポップオーバーで+を使⽤したフィールドの "Exists "フィルタリング フィールドのポップオーバーに Discover アクションで値を探索 Kibana のエクスペリエンスを統⼀する取り組みを継続し、APM UI に統⼀フィールドリストの ポップオーバーが追加 ᐨ (例: 異常検知ジョブやトランスフォームの作成ウィザード)を使⽤して、関連 するフィールドを選択する際に、より意味のあるコンテキストを提供します) Standard/Basic GA 🎉
メトリクスのトレンドライン 概要︓ ● Lens のメトリックビジュアライゼーションでは、トレンドライン を追加して、データの重要な傾向を強調し、インサイトを 明らかにすることができるようになった 詳細︓ ● タイルの背景に選択した指標のトレンドラインを表⽰。 ビデオ広告を含む GH 問題は、UI で簡単なスイッチで この追加機能を使⽤ Platinum Tech Preview
_field_caps ~90%の性能向上!!!! • • 同じマッピングを持つ複数のインデックスでの利⽤を最適化する よくある使⽤パターン _field_caps - フィールド能⼒情報 Kibana とソリューションで広く利⽤されている インデックスのグループ(データストリームなど)で使⽤される 8.2のパフォーマンス向上の上に Standard/Basic Enterprise Platinum Gold OSS GA Re as o No n t ti ou Se n O pg ar pe rad ch n e
六⾓形タイルのパフォーマンス向上 • • geo_point があるタイルの取得が 20% 改善 H3 の三⾓法の代わりに、より効率的な代数学を使⽤ Standard/Basic Enterprise Platinum Gold OSS GA Re as o No n t ti ou Se n O pg ar pe rad ch n e
Cartesian aggs カルテジアン・セントロイド, カルテジアン・バウンズ ● ● ● 直交座標系 - ユーザーが選択した座標系 形状と点に関して geo_shape と geo_point による特徴の同等性へ の進展 Platinum Standard/Basic GA
近似 kNN チューニングガイド https://www.elastic.co/guide/en/elasticsearch/reference/current/tune-knn-search.html ● 通常の標準的なインデックスとは異なる ● ハイライト︓ ○ ○ ○ ○ ○ ○ ○ ○ 正規化し、ドット積の類似性を利⽤ すべてのインデックスをメモリ上に配置(ページキャッシュをRAM上に配置) ファイルシステムキャッシュのウォームアップ 低次元またはバイトサイズのint型要素ベクトルへの量⼦化 ベクターを _source から除外 セグメントを減らす - インデックス作成時に強制的にマージし、より⼤きなセグメントを 作成する 検索ピーク時に重いインデックスを作らないようにする Linux での控えめな readahead Standard/Basic Enterprise Platinum Gold OSS GA
バイトサイズの int 要素を持つ密なベクトル 量⼦化対応 - ⾼いランキング品質を維持しながら経済的 ` ● Dense Vector デフォルトの要素。4バイトfloat [2-1074, (2-2-52)*21023]. ● 現在、1 バイトの int 要素を持つベクトルを追加 [-128, 127] 。 ● 75%のサイズ縮⼩、影響あり︓ ○ Index size ○ Ingest performance Index quantization by reduction of number of dimensions per vector ○ Query latency ● 素⼦の量⼦化が⼩さい︓ ○ ⼀般的にランキングの品質が向上する ○ スペース削減 ` ` ` ` ` ` ` ` ` ` ` ` ` ` ` Index quantization by vector element size reduction ` ` ` ` Standard/Basic Enterprise Platinum Gold OSS GA ` ` ` ` ` ` ` `
CPU ベースの ML ノ ード⽤オートスケーリングアップ/ダウン 概要: メモリ要件に加え、ML オートスケーリングデサイダー は、ジョブやモデルのプロセッサ(CPU)要件に反応する ⽬的: Elastic Cloud でオートスケールを有効にしている お客様は、機械学習を使⽤する際のパフォーマンスが向上 詳細: • • • • MS-83(12⽉14⽇)より使⽤可能 ブースト値(例︓最⼤4.2)ではなく、ベース vCPU(例︓0.2)に反応するようになりました。 オートスケールアップ/ダウン(最⼩サイズは0) MS-83 の UI 変更により、オートスケールのフライア ウトも削除され、最⼩/最⼤サイズのオプションは Edit Deployment に直接表⽰されるようになりま した。
ESS のデプロイメントのヘルスレポートを改善 概要︓ • Elasticsearch health API を使⽤したクラウド でのデプロイメント健全性レポート体験の向上 ディスクユーティリティインジケータ ⽬的︓ • クラスタが不健全でディスク使⽤率に問題がある 場合に、ユーザーに提供される情報の改善 詳細︓ • ES Health API との統合 (8.6+のデプロイメントのみ) • ディスク使⽤率のレポートとトラブルシューティングの ステップを改善
Upcoming Webinars…
2/22 Elastic x LAC 共同 Webinar https://www.elastic.co/jp/virtual-event/elastic-lac-cloud-monitoring
3/1 SIEM 運⽤のモダナイゼーション https://www.elastic.co/jp/virtual-events/modernizing-siem-operations
3/1 Elastic APM による Python アプリケーションのパフォーマンス管理 https://www.elastic.co/jp/virtual-events/instrument-and-monitor-a-python-application-using-apm
Thank you for your attention!