Elastic7.10 newfeaturesintroduce 1216

Elastic 7.10 新機能ご紹介 Shotaro Suzuki Technical Product Marketing Manager/Evangelist, Japan 1

Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist 内閣官房 IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist 2

7.10 の新機能 Agenda 3 1 Searchable Snapshots & Data tiers 2 Elastic Stack の新機能 3 3 Enterprise Search の新機能 4 Observability の新機能 5 Elastic Security の新機能

Searchable Snapshots 4

Snapshot Lifecycle Management (7.10 以前) 低コストのオブジェクトストアにデータをバックアップする • クラスターを S3 または他の低コストのオブジェクト ストアにバックアップする 5 • ⼤量のデータを効果的に処理 • 数年間データを保持するための規制要件を満たす • 検索する前にスナップショットから復元する必要

Introducing Searchable Snapshots - Beta in 7.10 オブジェクトストアを活⽤する • S3 やその他のオブジェクト ストアの使⽤⽅法を変換 する • スナップショットをクエリのアクティブな部分にする • セキュリティ調査やパフォーマンス⽐較のための無制限 のデータの検索 • 6 新しいコールド層と凍結層を動かす機能

Data Tiers 7

Data Tiers 以前: Hot Warm • es.yml でノード属性を設定し、ILM フェーズ で参照 7.10: • $$ 新しいノードロール: data_hot、data_warm、 data_cold、data_frozen (将来) • ILM フェーズでは、⼀致するロールを持つノードに データが⾃動的に割り当てられます。 Snapshot • 例︓data_warm にウォームフェーズ⾃動割り 当て 8

コールドティアのご紹介 - 7.10ベータ Hot War m Cold • 読み取り専⽤データのクラスタストレージ を最⼤50%削減 • オブジェクトストアにオフロードする $/2 • Snapshot 9 レプリカシャードをスナップショットとして 検索可能なスナップショットを使⽤して 復元性を確保する

シャード分配 - ホット層とウォーム層 Primary Shard Hot|Warm 10 SSD|Disk Replica Shard

シャード分配戦略 – Cold 層 Higher Performing Disk Cold Primary Shard • Cold 層と呼ばれる新しいデータ層を強化 • パフォーマンスに⼤きな影響を与えることなく、クラスターストレージを最⼤50％ 削減することで、読み取り専⽤データのストレージコストを⼤幅に削減 Snapshot AWS S3 / Azure Blob Store / Google Cloud Storage 11 Replica Shard

Kibana 7.10 12

Kibana Lens 13

Kibana Lens is generally available! 14

Kibana Lens 7.10 features that showcase momentum 15

Percentile chart types 百分位数グラフの種類 詳細 ● 16 パーセンテージを使⽤して簡単に⽐較 するために、番号を正規化 Data Analysis

Lens intervals 詳細 ● ● ● 17 間隔集計を使⽤して数値分布を視覚 化する 表⽰したい粒度のレベルを簡単に設定 ⼿動での範囲を使⽤する Data Analysis

Lens filter aggregation Data Analysis 詳細 ● ● 18 検索の機能 - データをグループ化する ユニークな機能 ワイルドカードと複数の条件を使⽤して データを視覚化する強⼒な⽅法 Add screenshot

Lens legend and grid configuration Data Analysis 詳細 ● 19 グリッド線と凡例の位置を使⽤して レンズの視覚エフェクトを微調整する Add screenshot

Getting Started & Ease of Use 20

オンボーディングの改善 詳細 重要なことに焦点を当てる 合理化されたナビゲーション 21 Getting Started & Ease of Use

Navigational search ナビゲーション検索 詳細 Kibana のナビゲーションを永遠に変える アプリケーション、ダッシュボード、ビジュアライ ゼーションなどへの直接アクセス クリック数を 0 に減らす 22 Getting Started & Ease of Use

Streamlined navigation 合理化されたナビゲーション 詳細 コンテキストに留まる 分析⽤に最適化 23 Getting Started & Ease of Use

Dashboards 24

Dashboard panels notes Data Analysis ダッシュボードパネルノート 詳細 ダッシュボードパネルのコンテキストと 説明を追加する グラフの表⽰内容をユーザーが理解 できるようにする 25 Add screenshot

URL Drilldowns (beta) Data Analysis URL ドリルダウン (ベータ) 詳細 ダッシュボードからダッシュボードへのドリルダウ ンに基づいて、コンテキストを URL に動的に 渡せるようにします ハンドルバー.jsサポート、および⽇付、数値、 および⽂字列の操作を⾏うヘルパーが含ま れています レンズ、ビジュアライゼーション、TSVB、タイム ライオン、ベガでサポート 26 Add screenshot

Maps 27

Fit Data to Bounds Data Analysis データを境界に合わせる 詳細 データドリブン分析 ユーザー エクスペリエンスの向上 数回のクリック 28 Add screenshot

Automatic lat/lon detection Getting Started & Ease of Use ⾃動緯度/経度検出 詳細 すべてのユーザーが地理空間データ を簡単に使⽤できるようにする センサーからの位置情報を操作する ための最も⼀般的な形式の 1 つ 29 Add screenshot

Vector tile rendering Data Analysis ベクター タイルレンダリング 詳細 ES ソースのデータの速度とデータの 向上 グリッドとクラスターの解像度のための スーパーファインオプション 30 Add screenshot

Tracking alert Data Analysis 追跡アラート 詳細 新しい場所駆動型のアラートの種類 資産追跡、乗換監視のユースケース 7.10のベータ版 31 Add screenshot

Alerting 32

Jira and IBM Resilient connectors Jira と IBM レジリエント コネクタ 詳細 時間をかからずに構成 必要な数のアラートで使⽤ Kibana から使⽤するシステムに ワークフローを拡張 33 Getting Started & Ease of Use

Role Based Access Control ロール ベースのアクセス制御 詳細 組織のニーズに基づいてアラートと アクションを保護 34 Getting Started & Ease of Use

Connector testing Getting Started & Ease of Use コネクタテスト 詳細 あなたの⾏動が機能することを保証 する 誤った構成に対する保護 35 Add screenshot

Enhanced alert views Getting Started & Ease of Use 拡張されたアラート・ビュー 詳細 アラートの状態を⼀⽬で確認する アラートの動作を理解する 36 Add screenshot

Security 37

Insecure cluster warning Getting Started & Ease of Use 安全でないクラスタの警告 詳細 無料のセキュリティ機能をご利⽤くだ さい 38 Add screenshot

Hide management views Getting Started & Ease of Use 管理ビューを⾮表⽰にする 詳細 クリーンで整頓された UI 改善された、シンプルなUX ダッシュボードのみのユースケースを サポート 39 Add screenshot

Enhanced saved object management Getting Started & Ease of Use 保存済オブジェクト管理の強化 詳細 競合しないオブジェクトを作成する 競合の解決が容易 40 Add screenshot

Additional enhancements Getting Started & Ease of Use その他の機能強化 追加機能: 41 ● サーバー側セッション ● キーローテーション Add screenshot

Machine Learning 7.10 42

ML Model Management ML モデル管理 詳細 推論とジョブの構成/統計が含まれて います 各モデルを使⽤しているインジェスト パイプラインの⼀覧 43 Data Analysis

AUC ROC metric and Feature Importance visualizations 受信者動作特性 メトリックと 機能の重要度の視覚化 詳細 機能の重要性を理解し ML モデルを評価/⽐較するための データ サイエンスメトリック モデルのパフォーマンスを 知るための⼀般的な指標 44 Data Analysis

Metrics Anomaly Detection メトリック異常検出 詳細 Metric Beat および k8s Metric からの統合異常検出 Metric UI で視覚化 45 Data Analysis

Management UI 46

Kibana / Elasticsearch Management UI 空のインデックス パターン 以前 47 今後 Getting Started & Ease of Use

Kibana / Elasticsearch Management UI Vega Visualization のためのインスペクター パネル Empty index patterns 48 Getting Started & Ease of Use

Kibana / Elasticsearch Management UI Inspector Panel for Vega Visualizations Empty index patterns 構成可能なテンプレートのプレビュー 49 Getting Started & Ease of Use

Kibana / Elasticsearch Management UI 50 Getting Started & Ease of Use • 新しい取り込みノードパイプライン UI を使⽤ • 取り込みフローを簡単にデバッグ可能 • 追加された視覚的な⼿がかりとパイプ ラインテストにより、実⾏フローを簡単 にステップスルーできる • 出⼒からメッセージを表⽰すると、 ドキュメントが取り込みプロセッサで 正しく機能するために必要なアクション を特定できる

Kibana / Elasticsearch Management UI 51 Getting Started & Ease of Use

Elasticsearch 7.10 52

Data Management 53

New datatypes Managing Data 新しいデータ型 符号なし 64 ビット整数を新たにサポート • • 264-1 i.e. 0 to 18,446,744,073,709,551,615 ⾮常に巨⼤な正の整数 ルーターからのカウント Windows レジストリイベント などシステムで⽣成されたデータに役⽴つ ‒ ‒ • 集計は最も近い double で引き続き 機能することに注意 財務データ セキュリティデータ ‒ ネットワークパフォーマンスデータ に役⽴つ ‒ ‒ 54 バージョンデータ型 • 数値がセマンティックであるソフトウェア バージョンをどのように検索するか︖ • ソフトウェアバージョン値を処理し、セマ ンティックバージョニングに基づいてそれ らの特殊な優先ルールをサポートする ためのキーワードフィールドの特殊化 • 例︓メジャー、マイナー、および パッチバージョンは数値で並べ替 えられ（「2.1.0」<「2.4.1」< 「2.11.2」）、プレリリースバージョ ンはリリース前に並べ替えられる （「1.0.0-alpha < 「1.0.0」） Basic GA

Rate aggregation レート集計 期間ごとの数量の計算を容易に⾏う Managing Data Basic GA • 55 date_histogram 内で使⽤され、date_histogram 集計の バケット内の指定されたフィールドの発⽣率を計算 • 以前はレートを計算するのが難しかった • レートは時系列データを分析する際の基本的な情報である ため、簡単にすることは価値がある • 時系列データで Elasticsearchの 汎⽤検索および分析 エンジンを簡単かつ直感的に使⽤できることを確認するために ⾏っている多くの適応の1つ

Rate aggregation Managing Data レート集計 毎秒0.01マイルで運転するためのスピード違反のチケットを⼿に⼊れることができますか? Basic GA 年間レート 1 分あたり のレート 56

Min / Max on histogram 1 分あたりのレート ヒストグラムデータ型の集計サポート • • ヒストグラムデータ型は、⼤量の数値データを処理するのに役⽴つ 数値データは、⽣成される場所で頻繁に集計されるため、スペース 効率の⾼いElasticsearchインデックスが可能 ‒ • 57 たとえば、Elastic APM は、ヒストグラムデータをロールアップするか、1つの構造にまとめて、 APM エージェントから Elasticsearch に送信されるデータの量を減らすことができる ヒストグラムで集計できるため、新しいシナリオがサポート Managing Data Basic GA

Aggregation performance & memory improvements 集計のパフォーマンスとメモリの向上 エンジニアリングの卓越性による TCO 削減 7.10 7.9 7.8 58 カーディナリティの集計 パフォーマンスとメモリ追跡の 改善 コーディネートノードでの集計の パフォーマンスとメモリトラッキングの 改善 検索.max_buckets のデフォルト値が 10,000 から 65,535 に増加し、すべてのバケット集計の スケーラビリティが向上 512 を超えるシャードを含むクラスターの集計メモ リ消費量の削減 (結果のシリアライズが⻑くなる) Date_histogram パフォーマンス 向上(ベンチマークでは50%程度) バケット集計のメモリ消費の正確性の 向上 7.7 ソートされたインデックスの複合集計 のパフォーマンスの向上 バケット集計のパ フォーマンス向上 マルチバケットアグリスのメモリ 消費量とパフォーマンスの向上 ジオタイル グリッド集計のパ フォーマンスの向上

Case insensitive search ⼤⽂字と⼩⽂字を区別しない検索 • この新しいワイルドカードフィールドタイプが導⼊される前は、クエリ内でワイルドカードを使⽤するとリソースを⼤量に消費し、 Web ブラウザーでの検索⽅法について⼈間の⾏動を学習しても、予想よりも検索時間が遅かった • 7.10では、追加の柔軟性とクエリを組み⽴てる簡単な⽅法を提供 • ⼤⽂字と⼩⽂字を区別しないクエリのサポートが追加 • これにより、オプションのcase_insensitiveフラグをtrueに設定するだけで、デフォルトで⽤語レベルのクエリ（⽤語、⽤語、 プレフィックス、ワイルドカード、正規表現など）の⼤⽂字と⼩⽂字を区別できなくなる。これは security と observability のユースケースに⼤きなメリットをもたらす • これらは次のクエリに使われる ‒ Term query ‒ Wildcard query ‒ Prefix query zip, zIp, ziP, zIP, Zip, ZIp, ZiP, ZIP 59 Managing Data

Stored fields compression improvement 格納フィールド圧縮の改善 60

Stored fields compression improvement 格納フィールド圧縮の改善 何を⽰しているのか • 保存されたフィールド ‒ IDs ‒ _source • Elasticsearch 7.10 および Lucene 8.7 では、 ドキュメント全体で重複データの検出の強化により、 インデックスの圧縮が⼤幅に向上 • 特に、Elastic と Elastic Securityソ リューションに よって作成されたインデックスは、最⼤10%⼩さくな り、ユーザーの直接的なコスト削減につながる • 圧縮して、より少ないコンピューティング リソースを消費 • 特に共有メタデータによるマシン⽣成データ 繰り返しデータ、圧縮 47.29.201.179 - - [28/Feb/2019:13:17:10] "GET /?p=1 HTTP/2.0" 200 "Mozilla/5.0 (Windows NT 6.1)" 61 Managing Data OSS GA

Stored fields compression improvement 格納フィールド圧縮の改善 なぜそれがそんなに有益なのか? 答えはシンプルにコスト削減 OSS GA • インデックスが⼩さいほど、TCO が低くなる • Splunk の「Elastic は⾼価です」というコメントと⽭盾する • エンジニアリングの卓越性によるコスト削減 当社のベンチマークで 最⼤10%のインデックス サイズの縮⼩ 62 Managing Data

Stored fields compression improvement 格納フィールド圧縮の改善 圧縮アルゴリズムの使⽤の最適化 • • • • ⼤きすぎると未使⽤のデータを解凍する(無駄) ⼩さすぎると、トークンが繰り返し表⽰されない 共有辞書 ‒ ‒ Shared Dictionary: GET HTTP/2.0200 Mozilla/5.0 (Windows NT 6.1) 63 OSS LZ で繰り返しを圧縮し、ハフマンで⾮反復 LZ の使⽤とチューニングの改善 ⼤きいブロックサイズ ‒ ‒ 各ブロックは、最初のブロックまたはそれ⾃体を指す 最も頻繁に使⽤するトークンを「再学習」する必要なし Mozilla/5 .0 (Window s NT 6.1) GET HTTP/2. 0200 GET HTTP/2. 0200 Managing Data Chrome Chrome GA

Data Analytics 64

Event Query Language Data Analysis イベント クエリ⾔語 ベータリリース: SIEM 検出エンジンで EQL ベースのルールを有効にする ● 7.9では、新しい実験的なクエリ⾔語であるイベントクエリ⾔語 （EQL）を発表 ● EQL は、脅威の調査、識別、および防⽌のためのシステムの全 体像を把握するために、Endgame 内で⻑年使⽤ ● セキュリティスペース内で使⽤されているこれらの同じ独⾃の機能 がElasticsearchに導⼊され、7.10では、Elasticsearch の EQL が、可観測性やその他の時系列データなどのユースケース 向けにベータ版に ● イベントのシーケンスに⼀致する ○ ○ システムの「状態」を表す 条件による制約 ■ ■ ○ 65 Match Moving “window” or span - usually @timestamp イベントの順序付けられた配列を返す Basic Beta Security Observability Search & Analytics EQL + Elasticsearch _eql endpoint

• https://www.elastic.co/blog/whats-new-elasticsearch-7-9-0
• https://www.elastic.co/guide/en/elasticsearch/reference/7.x/eql-search-api.html

EQL Sequences Data Analysis EQL シーケンス 異常なシステム動作の検出 Basic 予期されるシステム状態 ● 午前8時から午後10時の間に0-10回の ユーザーログ ○ ○ 既知の信頼された IP アドレス すべてのログインは成功した2FAの後に起こった 異常システム状態 ● ユーザーは午前1時5分から午前1時15分 の間に100回以上ログインを試みる ○ ○ ○ 66 Beta 2FA テキストメッセージ#午前1時5分直前に変 更された ソース IP が予期されたブロックの外側に 2FA 障害

EQL Basics EQL の基本 ● シーケンス ○ 脅威ハンティングのためのクエリを順序付け;例︓不明な特権エスカレーションか︖ sequence with maxspan=10h [file where file_name == "*.exe" and user_name != "SYSTEM"] by file_path [process where user_name == "SYSTEM"] by process_path ● システムユーザー以外のユーザーによって作成されたファイルは、最初に⾮システムプロセスと して実⾏され、後で 1 時間以内にシステム レベルのプロセスとして実⾏されたか︖ sequence with maxspan=10h [file where event_subtype_full=="file_create_event" and user_name!="SYSTEM"] by file_path [process where user_name!="SYSTEM"] by process_path [process where user_name=="SYSTEM"] by process_path 67 Data Analysis Basic Beta

Enterprise Search Single Sign-on from Elastic Cloud エンタープライズサーチ Elastic Cloud からのシングル サインオン 68

Single Sign-on from Elastic Cloud Elastic Cloud からのシングル サインオン ワンクリックでログイン 69

Enterprise Search 70

Enterprise Search License Management エンタープライズ検索 ライセンス管理 71

Enterprise Search License Management エンタープライズ検索ライセンス管理 貴重な試⽤状態を簡単に管理 72

Workplace Search SharePoint Online & OneDrive DLP 73

Document-level Permissions ドキュメント レベルのアクセス許可 ⼀⾔で⾔えば。。。 ● ● ● ● ユーザーが A (Office 365 グループ) の ID を持っている ユーザーが B (職場検索) で ID を持っている 外部 ID API は、これら 2 つをバインドする このバインディングを通じてアクセス許可を継承する Yep This is indeed how it works. 74

External Identities API
外部 ID API

A と B の間でバインドし、継承する
curl -X POST
http://localhost:3002/api/ws/v1/sources/[CONTENT_SOURCE_KEY]/external_identities ¥
-H "Authorization: Bearer [ACCESS_TOKEN]" ¥
-H "Content-Type: application/json" ¥
-d '{

"user": "jeffery",
"source_user_id": "32ad7bda-3de1-4a77-ee97-f3476c2cf58d”
}'

This is how!
The user is the Workplace Search User. The source_user_id is the Content Source user.
75

SharePoint and OneDrive DLP リレーションシップを作成し、ドキュメント レベルのアクセス許可を取得 Recommendation: Create groups in Office 365 Groups. SharePoint Online has caveats... Batch export groups via spreadsheet or leverage APIs Relationships are setup >> per-content source<< Safe search is fun search! Weee! Life … is all about relationships. 76

Enterprise Search Private Source Access Control エンタープライズ検索 プライベート ソース アクセス制御 77

Private Source Access Control プライベート ソース アクセス制御 チームのプライベートソースを接続する、または接続しない 78

Private Source Access Controls プライベート ソース アクセス コントロール リレーションシップを作成し、ドキュメント レベルのアクセス許可を取得 Toggle remote sources and org sources Granularity: choose the content sources to enable Remove access to revoke access Once enabled, individuals must add the content source via their personal dashboard. Private sources... … are private! Only the individual can see their contents. 79

Workplace Search Slack Integration Workplace 検索 Slack 統合 80

Slack as a Private Source プライベート ソースとしての Slack すべての活気に満ちたチームメッセージがソースに︕ 81

Slack as a Private Source プライベート ソースとしての Slack リモート ソース (フェデレーション) コンテンツがインデックス化されていない、クエリが フェデレーションされる 結果クラスターは、統合に対して†再スコア付けされる 関連性(弾⼒性検索の礼儀) エンドユーザーによるプライベート ソースとして接続 Slack is a HYBRID connector. We index the USERS, CHANNELS, and… of course… EMOJIS! For faster search. Not yet available via the Search API 82 †Slack results are rescored using heuristics and Levenshtein distance, after which the mean score of the result group is used to determine position against documents scored as part of the Elasticsearch-indexed documents query. 🚨

Workplace Search Salesforce Sandbox Workplace Search セールスフォースサンドボックス 83

Salesforce Sandbox セールスフォースサンドボックス 簡単なもの! ⼀般的なセールスフォースと同じ⽅法 を追加 別のコネクタではない 少なくとも、内部的に便利! 🐕 Dogfood! … Ew! We want to enable our internal teams. Remember, do not show internal Workplace Search to customers! 84

Workplace Search Analytics Phase 1 Workplace Search 分析フェーズ 1 85

Analytics アナリティクス 現在実⾏できるもの. Search volume:呼び出された検索の数。 Click volume:クリックされた結果の数。 Top queries:チームが使⽤した最も⼀般的なクエリ。 Content source clicks:コンテンツ ソース別のクリック数。 Queries by group:グループごとのクエリの数。 Top zero result queries:マネーメーカー。コンテンツのギャップ を⾒つける。 🐦 Low-key chirp If we canʼt sell this, then I donʼt even... 86

Analytics アナリティクス クリックの解剖学 Inbound clicks Outbound clicks 87

Analytics アナリティクス Kibana の保存されたオブジェクト、またはLens の⼒ 🔥 Tasty content alert We have a guiding blog: “Analyzing Elastic Workplace Search usage in a Kibana dashboard” 88

• https://elastic.co/blog/analyzing-elastic-workplace-search-usage-kibana-dashboard

Observability 89

User Experience Monitoring ユーザー エクスペリエンスの監視 90

See what your users see ユーザーに表⽰される内容を確認する ユーザー エクスペリエンスの監視 Details パフォーマンスはディストリビューション ユーザーの⾏動に影響を与えるエクス ペリエンス(速度) See what your users see 91 Basic | GA Add screenshot

What you need to get started 開始する必要があるもの • • 92 APM Server RUM JS Agent v 5.6.2+

Synthetic Monitoring 合成モニタリング 93

Find issues before users do ユーザーが実⾏する前に問題を⾒つける ブラウザベースのマルチステップ合成 詳細 可⽤性は単なる到達可能性以上の 問題 観測ソリューションにおける重要な 特徴のギャップに対処 Catch issues before your users do 94 Basic | Experimental Add screenshot

Anomaly Detection in Metrics メトリックの異常検出 95

Anomaly Detection 異常検出 インフラストラクチャの監視 • • • • One-click anomaly detection 96 インフラストラクチャ要素に関する問題を ⾃動的に検出して表⾯化 ホスト – メモリリーク – 異常な着信/発信トラフィック Pretty screenshot Kubernetes – 名前空間間の CPU 使⽤率 – メモリリーク – 異常な着信/発信トラフィック Powered by Kibana ML Platinum | Beta

Multi-Cloud Observability マルチクラウドの監視 alerting User group A On-Premises 97 User group B

Multi-cloud Billing マルチクラウド課⾦ Observability の別の Lens AWS CloudWatch あなたの⼿形は管理下にある 異なるクラウド コンソールを切り替えたり、さま ざまなデータ ポイントを通過することなく、クラ ウド プロバイダー全体のコストと⾒積もり料⾦ を監視します。 AWS Cost Explorer ⾼い浪費家を検出する プロジェクト、ユーザー、クラウド サービスが最も コストを⾼く設定する Azure Cost Management チームに情報を提供する OOB ダッシュボードとカスタムしきい値アラート を使⽤してチームのコスト認識を⾼める 98 Basic | GA GCP BigQuery

Stack Monitoring スタックモニタリング いつもあなたのために働く CPU しきい値、ディスク使⽤率、メモリ使 ⽤率 (JVM)、監視データの⽋落などの事 前構成済みアラートが⾃動的にデプロイさ れ、常に機能し、潜在的な問題を通知 ユースケースに合わせてカスタマイズ 「設定モードに⼊る」とアラート条件やアク ションを含む特定のニーズを満たすようにそ れらを調整 調査ワークフローのヘルプ 各アラートは、調査ワークフローを⽀援する 次のステップの提案を提供 99 Basic++ | GA

But wait, thereʼs more まだあります… 100

Fleet & Elastic Agent Now Beta 2 101

Fleet Beta 2 エージェントバイナリアップグレード(試験的) フリートアプリでシングルクリックでエージェントバイナリ をアップグレード 選択制御 (ゴールド層) バイナリをアップグレードするエージェント、新しいポリ シーに割り当てるエージェント、またはエージェントの 登録解除を⾏うエージェントの任意の組み合わせを 選択します。 より⾼い拡張性 Elastic Cloud 上の Kibana インスタンスごとに 最⼤ 8000 個のエージェントを追加 新しい統合 スリカタ、ジークなど18の新しい統合 102 Basic++ | GA

Fleet Beta 2 プロキシのサポート インターネットにアクセスするためにプロキシを必要とす るネットワークでフリートを使⽤する カスタム証明書 エラスティックサーチのカスタム証明書を使⽤するクラ スターでのエラスティック エージェントの使⽤ ⼊⼒条件 ローカル環境に基づいて各ホストで⼊⼒を有効にす るスマートルールを作成する 103 Basic++ | GA

APM 追加、機能強化、そして GA 104

新しいクリーンなレイアウトで 折りたたみ可能な外部呼び出しノード FOUNDATION Service Map GA! マップ上の外部コール ノードを最⼩化して、マップを読みやすく することができます。 ドラッグ可能なノード Pretty screenshot (1080x1080) ノードを簡単にドラッグしてカスタムレイアウトを作成できます (今のところ持続性はありません) ML を搭載した正常性指標は、問題のあるサービスを⼀⽬で 確認できます。 サービスごとの KPI 平均トランザクションレート、期間、エラー、および負荷メトリック 105 Platinum | GA SPECIALIZATIONS Health Indicators LOGGING METRICS APM ADVANCED SEARCH SECURITY ANALYTICS DATA SCIENCE

問題のあるサービスを特定するには Health Indicators FOUNDATION Services list ++ ML ベースのヘルス指標は、サービス マップと同様に問題 のあるサービスを⼀⽬で確認できる Pretty screenshot (1080x1080) Sparklines for trend analysis トレンド分析のスパークライン サービスごとの KPI 平均トランザクションレート、期間、エラー、および負荷 メトリック 106 Basic / Platinum | GA SPECIALIZATIONS 物事が変化しているときをすぐに発⾒(例︓そのフロントエ ンドは注意が必要なようです) LOGGING METRICS APM ADVANCED SEARCH SECURITY ANALYTICS DATA SCIENCE

Alert on ML anomalies (Dynamic threshold alerts) • • • 107 UI から任意の異常イベントに対す るアラートを作成する 重⼤なだけでなく、異常レベル 指定された基準に基づいて⾃動⽣ 成され、カスタマイズ可能なアラート メッセージ のペイロード いくつかのアクション + 組み合わせ Platinum | GA Pretty screenshot (1080x1080) SPECIALIZATIONS • FOUNDATION APM Alerts P2 LOGGING METRICS APM ADVANCED SEARCH SECURITY ANALYTICS DATA SCIENCE

継続的に拡⼤ Elastic APM PHP Agent (beta) FOUNDATION APM Agents PHP アプリケーションの⾃動インストルメンテーション (現時点では DB と HTTP) Pretty screenshot (1080x1080) Java agent: Micrometer integration 108 Basic | (see above) SPECIALIZATIONS アプリケーションのメトリックを収集し、より多くのフレーム ワークを計測する LOGGING METRICS APM ADVANCED SEARCH SECURITY ANALYTICS DATA SCIENCE

APM UI trace hierarchy with foldable spans ⻑いトレース ナビゲーションの改善 (基本) APM UI trace hierarchy with foldable spans 109

OpenTelemetry
Metrics

Meter meter = OpenTelemetry.getGlobalMeter("my-application");
DoubleCounter orderValueCounter =
meter.doubleCounterBuilder("order_value").build();
public void createOrder(){

アプリケーションのメトリック等々

double orderPrice ...;

Application metrics

orderValueCounter.add(orderPrice);

アプリケーショントレースとメトリックを計測するための統合
API。
アプリのメトリックは、次の場合に便利です。
● APMエージェントがインストルメント化しないインスツル
メントフレームワーク
● ビジネス KPI の収集

Infrastructure Metrics
オープンテレメトリコレクターを介して

制限
●
●

110

// Business KPI: sales of the ecommerce app

オープンテレメトリ指標はまだGAではありません
Elastic Integration はヒストグラムをまだサポート
していません

// your logic
}

Index: apm-*-metric*

Logs 111

Log Alerts: Phase 3 ⽐率ベースのアラート • しきい値ベースのアラートを別のメト リックで⽐較検討するには、エラー コード 504 をすべての要求に返す 要求の⽐率など、Web サーバーの タイムアウトを受信した要求の総数 のコンテキストに置く 112 Pretty screenshot (1080x1080)

PCF ログの統合が GA FOUNDATION Pivotal Cloud Foundry integration ● ● ● 進⾏中のエンタープライズ顧客の関⼼と展開 の多く 1分のスケールあたり最⼤500万ログまで拡張 VMwareの推奨に基づいて、基になる実装を 変更 Next step ● ● 113 PCF メトリックビート モジュール GA 統合のためのよりよい Observability Reach out in #pcf-observability for questions SPECIALIZATIONS 7.7ベータから現在へ LOGGING METRICS APM ADVANCED SEARCH SECURITY ANALYTICS DATA SCIENCE

No-sample long-term analysis サンプルなし⻑期分析 Searchable snapshots and cold tier コスト効率とシンプルな、⼤量のデータを検索および 分析します。 使⽤例の例: - Logs:監査のための⻑期保存 - Metrics:⻑期的なトレンド分析 - APM:サンプルなしのトレース分析 - RUM:サンプルなしのユーザー セッション分析 運⽤上簡単: 114 - ⽔分補給は不要 - アナリストのワークフローを変更しません Enterprise | Beta Power Plays!

Elastic Security 115

Elastic Security 7.10 Feature Summary セキュリティ 7.10 機能の概要 1 検出機能の強化 (基本、ベータ版) ● より強⼒な検出を可能にする新しい相関ルールタイプ ● 脅威インテリジェンス統合のステージを設定する新しいインジケーター⼀致ルールタイプ 2 標準の保護 (基本、ベータ版) ● 新しい Elastic セキュリティ リポジトリでの無料およびオープン検出 ● 新しく構築済みのルールのフォーカス ● ~10 の新しい ML ジョブ - 対応するルールと共に 3 調査とコラボレーション ● 拡張されたデータソースの選択 (Kibana インデックス パターン) ● タイムラインの機能強化 - 検出アラートアクション ● コネクタ固有のケースフィールド (ServiceNow, Jira, Resilient) ● 4 5 116 データ ソース統合の更新 (基本) ● シスコ アンブレラ、マイクロソフト M365 ディフェンダー、ジュニパー SRX ファイアウォール、およびズームのための新しい統合(モジュールとパッケージ) ● バラクーダ、シスコ、シトリックス、サイバアーク、F5、フォーティネット、ジュニパー、プルーフポイント、ソフォス、Snort、シマンテック(基本、実験)など、広範な セキュリティデータソース⽤の10の実験的モジュールとパッケージ ● 8 ファイルビートモジュールとWinlogbeatがパッケージに移⾏ ● ECS 1.6にアップデートされたすべてのビートモジュール ● パケットビートでの SIP サポート エンドポイントセキュリティ (基本、ベータ) ● macOS 11 サポート ● 信頼されたアプリケーション ● マルウェア対策のエンドユーザー通知

“Event Correlation” Rule Type 「イベント相関」ルールタイプ 117

Detections Enhancements 新しい EQL ベースの イベント相関ルール タイプ 新しいインジケーター ⼀致ルール タイプ ルール クエリのクイック プレビュー ● ● ● 新しいイベント相関ルー ルタイプは、データと時間 をまたいでイベントのシー ケンスを検索できる EQL クエリを受け⼊れる 118

Detections Enhancements 新しい EQL ベースの イベント相関ルールタ イプ 新しいインジケーター ⼀致ルール タイプ ルール クエリのクイック プレビュー ● ● ● 組み込みの複数⾏ EQL クエリ エディターに は、構⽂チェックと EQL ドキュメントへのリンクが 含まれている 119

Indicator Match Rule Type インジケータマッチ ルールタイプ 120

Detections Enhancements 新しい EQL ベースの イベント相関ルールタ イプ 新しいインジケーター ⼀致ルール タイプ ルール クエリのクイック プレビュー ● ● ● 新しいインジケーター⼀ 致ルールタイプでは、受 信イベントからのデータを、 インテリジェンス・ソースか らの指標を保持するイン ディケータ・インデックスに 格納されたデータと照合 できる 121

Detections Enhancements 新しい EQL ベースの イベント相関ルールタ イプ 新しいインジケーター ⼀致ルール タイプ ルール クエリのクイック プレビュー ● ● ● 最初に、⼀致を確認す るソースイベントを選択 するクエリを作成する。 この場合、source.ip と destination.ip の両 ⽅を持つイベントについ て、セキュリティ関連のイ ンデックス パターンをすべ て調べている 122

Detections Enhancements 新しい EQL ベースの イベント相関ルールタ イプ 新しいインジケーター ⼀致ルール タイプ ルール クエリのクイック プレビュー ● ● ● 次に、⼀致させるインジ ケーターを保持するイン デックス パターンを選択 する この場合、IP アドレスの 脅威リスト インデックスが 使⽤される 123

Out-of-the-Box Protections 124

Unified Issue Detection 統⼀された問題検出 ハイブリッドおよびマルチクラウド保護 Monitoring and Compliance Threat Detection and Prevention … more Tactics and Techniques 主要なIaaSベンダー、リモートワークフォースのユースケー ス、オンプレミス環境をカバー Global actors and threats 脅威の検出 MITRE ATT&CKとグローバルトレンドにおける⾼度な悪 意のある⾏動の検出を導⼊ 統合検出エンジン すべての異常と悪意のある検出ニーズをカバーするML + ルール Detect any issues in your environment Build-your-own Anomaly detection via Machine Learning 125 Free and Open Repository Advanced Correlation via detection rules

114 New Prebuilt Rules! 114 の新しい事前構築されたルール! Azure, GCP, Zoom Threat Detection 67 • • • 126 Azure および GCP の構成規則 の強化と誤設定 作成または削除された成果物 (ア カウント、Runbook など) を含め ることができる ZOOM ルールへの⼊⼒ - アプリか らのパスコードと異常なプロセスを持 つ会議 ML - Linux & AWS 24 • EQL による相関ルール • シーケンシャルロジックを使⽤した 悪意のある動作に対する⾼度な ルール • ルールは、Land C2 から離れて ⽣活することから特権のエスカレー ションまで多岐にわたる 12 • • • データ侵害の対象となる AWS メタ データ サービス 疑わしい Linux ユーザーを検出す る - ML に最適 - “管理者の外れ 値” を探す ルートキットに⾒られるように、異常 なカーネルモジュール/Linuxコンパイ ラを含める

What customers can protect against? お客様は何から保護できますか? 7.10 の新しいルールをすべて⾒る Azure, GCP, Zoom ‒ ‒ ‒ ‒ Firewall policies modifications Vaults alterations IAM Role tampering Storage configurations ‒ Threat Detection ‒ ‒ ‒ ‒ 127 Command Prompt Network Connection Execution of File Written or Modified by Microsoft Office Service Command Lateral Movement Windows Suspicious Script Object Execution ‒ ‒ ML for Linux and AWS Unusual User/Process Calling AWS Metadata Service Anomalous Kernel Module Activity Unusual Linux Network Connection Discovery By Rule Type

• https://docs.google.com/spreadsheets/d/1J8WvZdZjoiloiStxq0rxAdAnIWtRyjYX/edit

Protecting against Global Trends グローバルなトレンドに対する保護 機械学習 AWS メタデータサービスとは何ですか? AWS のユーザーとサービスが AWS ハイパーバイザーで 認証を⾏うために利⽤できる⼀時的な認証情報の⼀元 化されたプロバイダーが、独⾃のインフラストラクチャでコマ ンドを実⾏します。 なぜ関連するのでしょうか? - 悪意のあるアクターを⾒つけることは不可能 - 中規模環境での 10M 以上のイベント - トップ⾦融機関は最近、これを活⽤して攻撃を受 けました 顧客はどのように保護できるのか? Elastic ML job - AWS メタデータサービスの異常な ユーザー/プロセス呼び出し 128

Rule Categorization ルールの分類 追加されたフィルター処理⽤の追加メタデータ タグ • ルール マネージャでの簡易フィルター処理を有効にします。 • メタデータ タグを使⽤して集計されたその他のルールユース ケース ‒ • ルール タグは⼀貫したテンプレートに従う ‒ ‒ ‒ 129 SecOps(ロギングなど)と脅威検出(MITRE ATT&CK™など)に触発されました。 <author> <domain> <subdomain> <category> <subcategory 1>...<subcategory N> Elastic, Host, Windows, Threat Detection, Defense Evasion Elastic, Cloud, AWS, Continuous Monitoring, SecOps, Identity and Access

Investigation & Collaboration 調査とコラボレーション 130

Expanded Data Source Selection 拡張された データ ソースの選択 セキュリティ データを超えて • Data Source Selector • インデックスパターンの統合され た使⽤と、現在はKibanaイン デックスパターンが含まれていま す - セキュリティソリューション全 体で利⽤可能です。 Expand Use Case Coverage DDoSの対象となる資産の観 測可能性データなど、タイムライ ンの⾮セキュリティインデックスか らのデータを調査に利⽤します。 • • 131

Detection Alert Actions in Timeline タイムラインでの検出アラートアクション アナリストワークフローの改善 • アナリストがタイムライン調査 フローから逸脱することなく、検 出アラートに対するアクション を実⾏できるようにする • アラートの状態を更新します。 タイムライン調査ビューからア ラートステータスを変更 ルール例外を追加する 不要なアラートの作成を防⽌ • 132

Connector Specific Incident Fields コネクタ固有インシデント フィールド コネクタ固有の追加 各ケースのコンテキスト • ServiceNow. • 各ケースに緊急度、重⼤度、 影響度を追加 Jira. 各ケースに問題タイプ、緊急度、 サブタスクを追加 Resilient. • • • • 133 各ケースに問題の種類と重⼤ 度を追加

Security Integrations セキュリティ統合 134

New Data Source Integrations (Basic, Beta) ● Cisco Umbrella ● Microsoft M365 Defender ● Juniper SRX Firewalls ● Zoom 135

10 experimental integrations! ● Barracuda Spam Firewall ● Cisco Meraki ● Citrix NetScaler ● CyberArk Privileged Access Server ● F5 Big-IP Firewall Manager ● Fortinet FortiMail and FortiManager ● Juniper Netscreen ● Proofpoint Email Security ● Sophos UTM ● Snort ● Symantec Endpoint Protection 136

Endpoint Security 137

ソフトウェアの競合を 解消し、信頼された アプリケーションによる パフォーマンスを向上 パスまたはハッシュでエントリを追加する すべてのベーシック+のお客様にご利⽤戴け ます Windows、Mac、および Linux で エンドポイント セキュリティを実⾏して いるホストで使⽤できる 信頼されたプロセスのすべての アクティビティを無視します - イベントとアラート 138

エンドポイント管理 での UX の改善 エンドポイントの登録時の メッセージングの改善 エンドポイント リストの ユーザー制御データ更新 フリートのエージェントの詳細 など、重要な関連データへの ピボット 139

macOS 11 (BigSur) support システム拡張の活⽤ 注: ネットワーク終了イベント を可視化しません 140

End User Notifications マルウェア対策 (macOS、 ウィンドウ) カーネル拡張を有効にする (macOS 10.15 以前) システム拡張を有効にする (macOS 11 以降) フルディスクアクセスを有効にする (macOS 10.15 以降) 141

Windows システムで収集 された追加の イメージ読み込み 電源を⼊れ、ユーザーが検出 System.Management.Automation.dll wow64log.dll System.Management.Automation.ni.dll WindowsCoreDeviceInfo.dll jscript.dll Ualapi.dll jscript9.dll wlanhlp.dll chakra.dll phoneinfo.dll vbscript.dll EdgeGdi.dll scrobj.dll cdpsgshims.dll scrrun.dll windowsperformancerecordercontrol.dll wlbsctrl.dll diagtrack_win.dll wbemcomn.dll Taskschd.dll WptsExtensions.dll wmiutils.dll Tsmsisrv.dll vaultcli.dll TSVIPSrv.dll bcrypt.dll Msfte.dll psapi.dl msxml3.dll 7z.dll 142 pgpcrypt.dll

Thank You for your attention! www.elastic.co 143

• http://www.elastic.co/