Amazon EMRでグローバル規模の金融データを扱う分散処理システムを構築した話

1.6K Views

March 14, 24

#aws #Amazon EMR #Apache Spark #分散処理 #金融データ #ビッグデータ

スライド概要

2024年3月2日開催のJAWS DAYS 2024にて発表された「Amazon EMRでグローバル規模の金融データを扱う分散処理システムを構築した話」です。

シンプレクス株式会社

@Simplex

スライド一覧

シンプレクスは1997年の創業以来、メガバンクや大手総合証券を筆頭に、日本を代表する金融機関のテクノロジーパートナーとしてビジネスを展開してきました。現在では、金融領域で培った豊富なノウハウを活用し、金融機関以外の領域でもソリューションを展開しています。2019年3月にはAI企業のDeep Percept株式会社、2021年4月には総合コンサルティングファームのXspear Consulting株式会社がグループに加わり、創業時より付加価値の創造に取り組んできたシンプレクスとワンチームとなって、公的機関や金融機関、各業界をリードする企業のデジタルトランスフォーメーション（DX）の推進を支援しています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

JJUG CCC 2024 Spring：テストコードが根付くチームを立ち上げるために考えたいこと

java jjug_ccc

シンプレクス株式会社 85.9K

JJUG CCC 2024 Fall：Spring ModulithによるDDDとEvent-driven Architectureの実践

jjug_ccc java spring spring-boot spring-modulith modular-monolith アーキテクチャ ddd イベントドリブン

シンプレクス株式会社 23K

JJUG CCC 2023 Fall : クライアントワークでドメイン駆動設計を活用してみてた

ドメイン駆動設計 ddd java

シンプレクス株式会社 18.1K

Gradleと仲良くなる第一歩　～小規模PJから大規模PJへ～

java jjug_ccc gradle

シンプレクス株式会社 16K

JJUG CCC 2022 Spring_保険基幹システムのアーキテクチャ_シンプレクスの技術的チャレンジ

基幹システム保険 camunda スキーマレス・アーキテクチャ

シンプレクス株式会社 11.8K

Gaugeで学ぶ実行可能ドキュメントの価値

java jjug_ccc

シンプレクス株式会社 11K

各ページのテキスト

Amazon EMR とはハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d Amazon EMR とは、Apache Spark、Apache Hive、Presto などのオープンソースフレームワークを使用して、ペタバイトスケールのデータ処理、相互分析、機械学習を行なう業界をリードするクラウドビッグデータソリューションです。ビッグデータアプリケーションやペタバイトスケールのデータ分析を、オンプレミス型ソリューションの半分以下のコストで高速に実行できます。カスタマイズされた Amazon EC2 クラスター、Amazon EKS、AWS Outposts、または Amazon EMR Serverless で実行するオプションを備えた、最新のオープンソースフレームワークを使用してアプリケーションを構築します。公式(https://aws.amazon.com/jp/emr/) から引用 ©2024 Simplex Inc. 4

https://aws.amazon.com/jp/emr/

Amazon EMR とは ~Hadoop クラスター~ ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d Data processing using programming Apache MapReduce Data Processing Services using Query (SQL-like) Apache Hive In-memory Data Processing Scripting Apache Spark Apache Pig Resource Management Apache Hadoop Yarn Storage Apache HDFS ©2024 Simplex Inc. … 9

10.

Amazon EMR とは ~ 全体像 ~ ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d AWS 環境の上で EMR のサービスを実行し、 Hadoop クラスター環境を提供する。 AWS Cloud Application Amazon EMR Hadoop Cluster AWS が提供する環境 ©2024 Simplex Inc. use Hadoop エコシステムのフレームワーク EMR利用者が用意するアプリケーション 10

11.

Amazon EMR とはハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d EMR を使用するメリット • Hadoop クラスターの構築を自前で実施せずに済む • スケーリングが容易である • EMR インスタンスグループ • EMR インスタンスフリート • 運用に便利な機能が用意されている • 自動ログ S3 バックアップ • AWS コンソール上でのログ確認 • CloudWatch メトリクス ©2024 Simplex Inc. 11

12.

13.

14.

アプリケーション前提ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d 大手銀行向け市場リスク管理システム銀行では日々大量の取引 (金融商品の売買) を実施している。例えば株を買った場合、その株の株価が下がったら損をするし、上がれば得をする。この損得が発生する不確実性の事を「市場リスク」と呼ぶ。銀行はこの市場リスクを定められた範囲に収める様に取引する必要があるため、リスクを表す様々な指標を計算する必要がある。 ©2024 Simplex Inc. 14

15.

アプリケーション前提ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d 扱う情報規模全世界の取引がリスク管理対象であり、その件数は1日当たり数十万件にのぼる。さらに、それぞれの取引について複数のリスク指標を計算する必要がある。リスク指標の計算には、取引の種類ごとに定められた方法で取引の時価を複数回計算する必要がある。たとえばある時間帯では、およそ 1億回の時価計算を30分以内に完了させるため、最大で 1200 core の並列処理が必要となる。 ©2024 Simplex Inc. 15

16.

アプリケーション構成ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d Virtual private cloud (VPC) write data read result Amazon Elastic Compute Cloud (Amazon EC2) store data get result Amazon EFS Amazon S3 put result send http request Client use data store result read data store data use data Amazon Aurora (Data Storage) Amazon EC2 (API Server) push request Amazon ElastiCache (Message Broker) pop request run job Amazon EC2 (Job Controller) Amazon EMR Amazon ElastiCache (Redis) Amazon Simple Storage Service (Amazon S3) Amazon Aurora Amazon EMR (Grid Computing) Amazon Elastic File System (Amazon EFS) ©2024 Simplex Inc. 16

17.

18.

アプリケーション構成ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d Apache Spark フレームワークを用いて実装されたアプリケーションモジュールを、S3 上に配置しておく。 Amazon S3 Application Module Amazon EC2 (API Server/ Job Controller) Amazon EMR ©2024 Simplex Inc. 18

19.

アプリケーション構成ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d アプリケーションに対する入力データを S3 にアップロードする S3 put Amazon S3 Application Input Data Module Amazon EC2 (API Server/ Job Controller) 凡例 AWS API call ©2024 Simplex Inc. Amazon EMR 19

20.

アプリケーション構成ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d Apache Spark アプリケーションの実行を要求する。 Amazon S3 Amazon EC2 (API Server/ Job Controller) Application Input Data Module spark-submit 凡例 AWS API call ©2024 Simplex Inc. Amazon EMR 20

21.

アプリケーション構成ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d EMR 上で Spark アプリケーションプロセスが起動する。 EMR ステップ（ジョブ）の終了を検知するために状態の監視を始める。 Amazon S3 Amazon EC2 (API Server/ Job Controller) Application Input Data Module use list steps (=polling status) 凡例 AWS API call ©2024 Simplex Inc. Amazon EMR Cluster (Application) 21

22.

アプリケーション構成ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d アプリケーションプロセスが S3 上の入力データを参照して分散処理を行い、結果をS3 に出力する。 Amazon S3 Amazon EC2 (API Server/ Job Controller) Application Input Data Module S3 get Output Data S3 put list steps (=polling status) 凡例 AWS API call ©2024 Simplex Inc. Amazon EMR Cluster (Application) 22

23.

アプリケーション構成ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d アプリケーションプロセスの終了を検知して、結果データを S3 からダウンロードする。 S3 get Amazon S3 Output Data Amazon EC2 (API Server/ Job Controller) Application Input Data Module Output Data list steps (=polling status) 凡例 AWS API call ©2024 Simplex Inc. Amazon EMR 23

24.

25.

26.

27.

28.

1. ミドルウェアのバージョンハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d 事象 EMR のジョブ起動直後に、 Hadoopのソースコード内で NullPointerException が発生する。調査経緯 NullPointerException が発生した箇所のHadoopの実装を読んで、そもそもマルチスレッドについて考慮されていない点があり、極めて低い確率で上記事象が発生する事が判明した。ライブラリ(Hadoop)のバグのため修正はできず、EMR とライブラリのバージョンが密結合な状態でこのライブラリ実装を呼び出すのは EMR 側のため、ライブラリを差し替える様な対応もできなかった。また、当該エラーが発生した事を特定できる情報もなく、リトライ処理を実装する事もできなかった。 ©2024 Simplex Inc. 28

29.

1. ミドルウェアのバージョンハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d 事象 EMR のジョブ起動直後に、 Hadoopのソースコード内で NullPointerException が発生する。対策今後リトライ処理を入れるために、当該エラーが発生したことを特定できる情報がないか調査するためのデバッグログ出力を増やしている。ただし再現確率が極めて低いエラーの様で、再発していない。 ©2024 Simplex Inc. 29

30.

1. ミドルウェアのバージョンハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d 事象 EMR のジョブ起動直後に、 Hadoopのソースコード内で NullPointerException が発生する。学び EMR のバージョンと、各ライブラリのバージョンが密結合となっており、ライブラリだけバージョンを変更する等の対応が構造的にできない。また、今回の場合はライブラリ側が未対応のバグだが、ライブラリ側にバグ対応が入っても、そのバージョンを使用する EMR のバージョンがリリースされないと使用できない。マネージドサービスを使用する上でのリスクとして考慮する必要がある。 ©2024 Simplex Inc. 30

31.

2.オートスケーリングハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d 課題 EMR が提供する自動スケーリングのオプションでは細やかな設定が行えず、要件を満たすことができない。解決策 EMR が提供する自動スケーリングは利用せずに、 Hadoop YARN リソースマネージャメトリクスを監視して EMR インスタンスフリートのスケーリングを自動化する機能を自前で実装した。 ©2024 Simplex Inc. 31

32.

2.オートスケーリングハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_d 課題 EMR が提供する自動スケーリングのオプションでは細やかな設定が行えず、要件を満たすことができない。学び分散処理の実行状況に応じたスケーリングの最適化は性能要件達成のためには不可欠なものであり、また金銭的コストにも直結するためユースケースに応じた細やかなチューニングが必要になってくる。 EMR の中核と言える、分散リソース管理および分散アプリケーション実行環境としての役割を担う Hadoop YARN に関する知見を深めることができた。 ©2024 Simplex Inc. 32

33.

34.