大規模データベースのデータマスキング実例紹介

⼤規模データベースの データマスキング実例紹介 福⽥ 淳雄 @TechBrew in 東京 〜バッチ処理 最適化の取り組み〜 1

⾃⼰紹介 氏名 福田 淳雄 ウェルスナビ株式会社 バックエンド開発グループ/ グループ責任者 ウェルスナビでは ● 2020年にJoinし顧客向けWebアプリケーション実装を担当 ● 2021年から取引管理チームの新設とともに異動 ● 2023年からバックエンド開発Gの責任者を兼務 ひとこと ● 積極採用中です！ 2 @2023 WealthNavi Inc.

WealthNavi /ウェルスナビの紹介 資産運用ロボアドバイザー “WealthNavi” ※⼀般社団法⼈⽇本投資顧問業協会「契約資産状況(最新版)(2023年9⽉末現在)『ラッ プ業務』『投資⼀任業』」を基にネット専業業者を⽐較 ウエルスアドバイザー社調べ (2023年12⽉時点) ※画⾯はイメージです。 3 @2023 WealthNavi Inc.

アジェンダ 1. 本日お話すること 2. 改善前のデータ基盤とパイプラインの構成 3. マスク処理における課題 4. 新しいデータ基盤とパイプラインの構成 5. 改善効果と今後 4 @2023 WealthNavi Inc.

1. 本日お話すること 2. ウェルスナビのデータ基盤とパイプラインの構成 3. マスク処理における課題 4. 新しいデータ基盤とパイプラインの構成 5. 改善効果と今後 5 @2023 WealthNavi Inc.

本⽇お話すること ● Amazon Auroraで構築していたマスキングデータベースをBigQueryに移⾏した話 ● 個⼈情報を含む機密情報を扱うWebサービスが多い中、あまり事例紹介されること のないデータマスキングの実例紹介 ● ネットワークやアクセス制御と⾔ったセキュリティ観点については対象外 6 @2023 WealthNavi Inc.

1. 本日お話すること 2. 改善前のデータ基盤とパイプラインの構成 3. マスク処理における課題 4. 新しいデータ基盤とパイプラインの構成 5. 改善効果と今後 7 @2023 WealthNavi Inc.

改善前のデータ基盤とパイプラインの構成 主に下記の背景‧⽬的から本番DBをクローンしマスク処理を実施していた ● 本番DBには顧客情報を始めとした機密情報を保存しておりアクセス制限が必要 ● 障害調査やデバッグの⽬的でデータベースを気軽にクエリしたい ● データ分析の為のデータソースにしたい AWS Batch goroutine トランザクションデータが 随時投入される テーブル数：750以上 データ量：1Tableで17億レ コード以上の物もあり（3年で 約3倍） 8 @2023 WealthNavi Inc.

改善前のデータ基盤とパイプラインの構成 匿名化DBは本番DBのクローンに対して値を直接Updateしてマスク処理を⾏い作成して いた ● AWS Batchを利⽤ ● goroutineを利⽤した並列処理 9 @2023 WealthNavi Inc.

1. 本日お話すること 2. 改善前のデータ基盤とパイプラインの構成 3. マスク処理における課題 4. 新しいデータ基盤とパイプラインの構成 5. 改善効果と今後 10 @2023 WealthNavi Inc.

マスク処理におけるの課題 課題 ⽬指す状態 ● マスク処理のパフォーマンス悪化とそ れに伴うKPIダッシュボード作成時間 の遅延 ○ サービス拡⼤に伴うデータ量の増加 ● マスク処理のパフォーマンスが改善 し、今後のデータ量やマスキング対象 の増加によるパフォーマンス劣化が低 減されている状態 ○ Update⽂での直接更新によるテー ○ 今後のデータ量、マスキング対象の 増加に対するスケーラビリティを確 ブルロック 保する ○ テーブルロックによる⼤量の書き込 み待ち 11 @2023 WealthNavi Inc.

1. 本日お話すること 2. 改善前のデータ基盤とパイプラインの構成 3. マスク処理における課題 4. 新しいデータ基盤とパイプラインの構成 5. 改善効果と今後 12 @2023 WealthNavi Inc.

新しいデータ基盤とパイプラインの構成 ● ● ● AuroraのマスキングDBをBQ上のマスキング⽤プロジェクトにオフロード バッチ処理全体はCloud Workflowsも含めてAWS Step Functionsで全体を実⾏ マスキング処理のデータソースをBQとし、select時に対象項⽬をマスクすることで - Update⽂ Update処理が不要となった Update User SET Name = "***" ↓に変更 -- Select⽂ SELECT "***" AS Name FROM User 13 @2023 WealthNavi Inc.

1. 本日お話すること 2. 改善前のデータ基盤とパイプラインの構成 3. マスク処理における課題 4. 新しいデータ基盤とパイプラインの構成 5. 改善効果と今後 14 @2023 WealthNavi Inc.

改善効果と今後 改善効果 ● 従来は3時間ほどかかっていた処理が1時間程度で完了するようになった ● BigQueryにオフロードすることでクエリ全体のパフォーマンスが向上した ● 値を直接Updateする処理を廃⽌したことで並列度を⾼めることが可能となり処理時 間が改善した 今後 ● テーブル追加やカラム追加時の対応コスト低減 ● マネージドサービスを利⽤したマスク処理 15 @2023 WealthNavi Inc.

ご清聴ありがとうございました 16 @2023 WealthNavi Inc.

Appendix.Ⅰ ウェルスナビでは複数の開発系ポジションで採⽤を強化しています。 主な採⽤中職種 ● ● ● ● ● バックエンド開発エンジニア エンジニアリングマネージャー モバイルエンジニア（Android） QAエンジニア ITサービスマネジメント 採⽤情報詳細 ● 下記URL（QRコード）よりご確認ください。 https://hrmos.co/pages/wealthnavi 採⽤に関する お問い合わせ先 ● ● 「カジュアルに話を聞いてみたい」という温度感でも構いません。 ウェルスナビ採⽤チーム（[email protected]）までご連 絡お待ちしております。 17 @2023 WealthNavi Inc.

• https://hrmos.co/pages/wealthnavi

【重要な注意事項】 ● 本資料は、断定的判断を提供するものではなく、情報を提供することのみを⽬的としており、いか なる種類の商品も勧誘するものではありません。最終的な決定は、お客様⾃⾝で判断するものと し、当社はこれに⼀切関与せず、また、⼀切の責任を負いません。 ● 本資料には将来の出来事に関する予想が含まれている場合がありますが、それらは予想であり、ま た、本資料の内容の正確性、信頼性、完全性、適時性等を⼀切保証するものではありません。本資 料に基づいて被ったいかなる損害についても、当社は⼀切の責任を負いません。また、当社は、新 しい情報や将来の出来事その他の情報について、更新⼜は訂正する義務を負いません。 ● 本資料を利⽤することによりお客様に⽣じた直接的損害、間接的損害、派⽣的損害その他いかなる 損害についても、当社は⼀切の責任を負いません。 商号等：ウェルスナビ株式会社 金融商品取引業者 関東財務局長（金商） 第2884号 加入協会：日本証券業協会 一般社団法人日本投資顧問業協会 18 @2023 WealthNavi Inc.