230713_jaws_bigdata24_quicksight

はやいよ！！ SPICE さん 2023/07/13 BigData-JAWS #24 QuickSight 分科会

自己紹介 SUEMITSU Kazuki @s3kzk（はしもと） 所属 KDDIアジャイル開発センター株式会社 生成系AIの業務利用推進 2022 APN ALL AWS Certifications Engineers 2023 Japan AWS All Certifications Engineers 2023/07/13 BigData-JAWS #24 QuickSight分科会 2

アジェンダ はじめに 背景と課題の紹介 課題解決に向けた改修 アーキテクチャから見る改善点の検討 SPICE の紹介と導入 まとめ 2023/07/13 BigData-JAWS #24 QuickSight分科会 3

はじめに - この部分について話します Amazon QuickSight ダッシュボード 2023/07/13 分析 データセット BigData-JAWS #24 QuickSight分科会 データソース 4

背景と解決したい課題 2023/07/13 BigData-JAWS #24 QuickSight分科会 5

背景 今年4月から CCoE※ チームにジョイン ※全社横断でクラウド利活用を推進する組織 ▷ 社内の AWS 利用データを集約・活用して CCoE からユーザーに価値を届けたい🔥 他部門の利用状況が見れる ダッシュボード誕生（3月末） 初のミッション「既存ダッシュボードの描画速度改善」 はしもと「どれどれ、まずは覗いてみるか」 🙋 2023/07/13 BigData-JAWS #24 QuickSight分科会 6

改修前のダッシュボード ※あえて再生速度はいじらずに お届けします😘 全体にモザイク処理を施しています ご了承ください 2023/07/13 BigData-JAWS #24 QuickSight分科会 7

「Oh」 はしもと 🤦 2023/07/13 BigData-JAWS #24 QuickSight分科会 9

改修前のダッシュボード 描画性能 ＼ ｳｵｵｵｵｵｵｵｵｵ!!!!!! ／ 秒 率直な感想：「 秒 これは広まらない...🤦 」 🐢 🌀 Ø 特定部門・アカウントへのドリルダウン 12 🌀 Ø ファーストビュー表示完了まで 18 改善目標 ファーストビュー表示および各操作が 2023/07/13 3 秒以内 で完了する BigData-JAWS #24 QuickSight分科会 10

アーキテクチャから見る改善余地 AWS Cloud 月次更新 (アカウントマスター) AWS Step Functions workflow Glue Crawler Excel->CSV Glue DataCatalog 日次更新 (CUR) AWS Cloud 2023/07/13 ETL処理 + カタログ化 BigData-JAWS #24 QuickSight分科会 Athena QuickSight 11

アーキテクチャから見る改善余地 AWS Cloud 月次更新 (アカウントマスター) AWS Step Functions workflow ① 情報の更新頻度は 日次/月次だが、 Glue Crawler 毎回最新のデータを 取りにいく Excel->CSV Glue DataCatalog 日次更新 (CUR) AWS Cloud ETL処理 + カタログ化 Athena QuickSight ② 元データのカラム数 474 に対し、 ダッシュボードで使用するのは 10 個程度 2023/07/13 BigData-JAWS #24 QuickSight分科会 12

（余談） 毎回最新のデータを 裏では Athena の涙ぐましい 取りにいく Athena 努力がありました 13

プロフェッショナル Athena 仕事の流儀 いつかデータが更新されると信じて、同じデータを返すAthena じっとしててください 条件の変更がわずかでも、再度時間をかけてデータを取りに行くAthena 2023/07/13 BigData-JAWS #24 QuickSight分科会 😫 14

SPICE の利用 2023/07/13 BigData-JAWS #24 QuickSight分科会 15

Amazon QuickSight と SPICE SPICE ： QuickSight 内蔵 のインメモリ型データベース SPICE 利用なし Ø 分析によく使うデータを、事前にロードしておける領域 Ø 応答が高速 Ø S3やRDSなどデータソースへの直接の問い合わせの削減 SPICE 利用あり 必要なデータを 高速で取得 Enterprise/Standard Edition ともに 「作成者」ひとりあたり 10GB の SPICE 容量が付与 (1GB/月 あたり 0.38 USD で追加可能) 2023/07/13 元データ更新時、 事前にロード SPICE BigData-JAWS #24 QuickSight分科会 16

Amazon QuickSight と SPICE 現在、直近3ヶ月分※ の利用データに絞り、必要なカラムのみを SPICE に持たせ運用中 ※ 実際の利用において、直近の情報により需要があると考えたため 割当容量 41GB 中、最大でも月末に 10GB を上回る程度 （今後ダッシュボードに掲載する情報も拡充するため、あくまで暫定的な対応 2023/07/13 BigData-JAWS #24 QuickSight分科会 17

速度改善したものがこちら ※再生速度はいじってません 全体にモザイク処理を施しています ご了承ください 2023/07/13 BigData-JAWS #24 QuickSight分科会 18

2023/07/13 BigData-JAWS #24 QuickSight分科会 19

予想以上に爆速になった🤗 (1秒未満) 2023/07/13 BigData-JAWS #24 QuickSight分科会 20

SPICEを利用する際の注意点 メモリ容量とコスト Ø SPICE の容量は自動で拡張するため、想定外の課金が発生しやすい（解放時は手動で操作が必要） Ø 取り込むデータの内容は、事前に精査する Ø 消費量メトリクスは CloudWatch メトリクスで監視できるので、やりましょう データの更新と削除 Ø SPICE に最新のデータを反映するには、更新処理を行う必要がある Ø スケジュール実行にも対応した機能が提供されている ( SPICE データの更新 ) Ø SPICE 内のデータは、ユーザーが削除操作をするまで永続化される 運用フローは要検討 2023/07/13 BigData-JAWS #24 QuickSight分科会 21

• https://docs.aws.amazon.com/ja_jp/quicksight/latest/user/refreshing-imported-data.html

まとめ 2023/07/13 BigData-JAWS #24 QuickSight分科会 22

まとめ はやすぎだよ！！ SPICE さん 今後ダッシュボードの描画速度に困ったら まず SPICE さんを頼りたいと思います 2023/07/13 BigData-JAWS #24 QuickSight分科会 23

ありがとうございました👏

参考資料 Amazon QuickSight のノウハウ総まとめ！ 〜BI設計から運用まで〜 https://aws.amazon.com/jp/blogs/news/quicksight-matome-20201014/ Amazon QuickSight の SPICE 使用量がついに CloudWatch メトリクスで監視できるようになりました https://dev.classmethod.jp/articles/amazon-quicksight-spice-usage-cloudwatch/ 【AWS Black Belt Online Seminar】Amazon QuickSight アップデート https://www.youtube.com/watch?v=jjxr2j990rc 2023/07/13 BigData-JAWS #24 QuickSight分科会 25

• https://aws.amazon.com/jp/blogs/news/quicksight-matome-20201014/
• https://dev.classmethod.jp/articles/amazon-quicksight-spice-usage-cloudwatch/
• https://www.youtube.com/watch?v=jjxr2j990rc