マルチクラウド実践：AWSデータ×BigQuery連携検証

マルチクラウド実践： AWSデータ×BigQuery連携検証 2026年3月27日 (検証実施時期：2024年8-10月) 株式会社エヌアイデイ ICTデザイン事業部ANA部第2課 Copyright(c)2025 NID All Rights Reserved 1

参加メンバー＆検証年月 ICTデザイン事業部ANA部第2課 原 菜摘 (1年目 ※検証当時) ICTデザイン事業部ANA部第2課 船渡川 碧 (1年目 ※検証当時) ICTデザイン事業部ANA部第2課 S.Y. ※2024年8月～10月検証実施 (1年目 ※検証当時)

目次 1. 導入 2. 検証方針 3. BigQuery-S3連携 4. BigQuery-RedShift連携 5. BigQuery-SpreadSheet連携 6. BigQuery-S3 EventDriven連携 7. 検証結果 8. S3-BigQuery連携パターン ※本資料に登場する会社名・製品・サービス名、ロゴマークなどは該当する各社の商号・商標または登録商標です。

1.導入 BigQueryとは BigQueryとは、ML、検索、地理空間分析、ビジネス インテリジェンスなどの 組み込み機能を使用してデータの管理と分析を支援するフルマネージドの データ分析プラットフォーム。

1.導入 なぜBigQueryを使用するのか 数ペタバイトといったビッグデータを高速に分析できる。 類似したサービスとしてAWS社が提供しているRedShiftがあるが、 BigQueryを選択する理由は既存のGoogle Platformとのサービス連携が 容易であること。

1.導入 検証目的 １．Google Cloud環境でのデータウェアハウス等を利用したデータ 分析領域における今後のソリューション提案に向けたナレッジを 蓄積する。 ２．BigQuery(BQ)_DataLake 接続対応案件で利用する想定の構成を 事前に検証することで案件対応を円滑に進められるようにする。

2.検証方針 今回の検証ではAWSのS3バケット、Redshfitをデータソースとして BigQueryへのデータ連携し、スプレッドシートに結果を出力する流れを 以下の4パターンに分けて検証する。 １．S3からBigQueryへのデータ連携 ２．RedShiftからBigQueryへのデータ連携 ３．BigQueryからスプレッドシートへのデータ連携 ４．S3イベントドリブンによるBigQueryへのデータ連携

3.BigQuery-S3連携 構成図

3.BigQuery-S3連携 手順 １．S3バケットに対してS3ReadOnly権限を持ったIAMユーザーの アクセスキーを払い出す。 ２．BigQuery Data Transfer Serviceで転送ジョブを作成し、 S3URI、アクセスキー、シークレットキー、各種転送設定を行う。 ３．転送ジョブを実行し、BigQueryにデータを連携する。

3.BigQuery-S3連携 IAMユーザーに割り当てるポリシー

3.BigQuery-S3連携 BigQuery Data Transfer Serviceの設定1

3.BigQuery-S3連携 BigQuery Data Transfer Serviceの設定2

3.BigQuery-S3連携 作成した転送ジョブを実行する 実行結果

3.BigQuery-S3連携 BigQueryのテーブルにデータが取り込まれていることを確認

4.BigQuery-RedShift連携 構成図

4.BigQuery-RedShift連携 手順 １．RedShiftのデータをcsv形式でS3バケットにアンロードする。 ２．S3バケットに対してS3ReadOnly権限を持ったIAMユーザーの アクセスキーを払い出す。 ３．BigQuery Data Transfer Serviceで転送ジョブを作成し、 S3URI、アクセスキー、シークレットキー、各種転送設定を行う。 ４．転送ジョブを実行し、BigQueryにデータを連携する。

5.BigQuery-SpreadSheet連携 構成図

5.BigQuery-SpreadSheet連携 手順 １．Googleドライブの任意の箇所にスプレッドシートを作成する。 ２．スプレッドシートからコネクテッドシートの設定を行い、 対象のBigQueryテーブルを選択する。

5.BigQuery-SpreadSheet連携 スプレッドシート→データコネクタ→BigQueryを選択

5.BigQuery-SpreadSheet連携 プロジェクト、データセット、テーブルを選択

5.BigQuery-SpreadSheet連携 新規シートに指定したBigQueryテーブルとデータ連携されている

6.BigQuery-S3 EventDriven連携 構成図

6.BigQuery-S3 EventDriven連携 手順 １．S3バケットに対してS3ReadOnly権限を持ち、対象のGoogle アカウントを信頼ポリシーに設定したIAMロールを作成する。 ２．SQSキューを作成し、キューポリシーに対象のS3バケットを 設定する。 ３．S3イベント通知に送信先をSQSキューに指定し、トリガーとして 「s3:ObjectCreated:*」を設定する。

6.BigQuery-S3 EventDriven連携 手順 ４．Storage Transfer ServiceにIAMロール、S3バケット、SQSキューを 指定し、S3ーGCS間のデータ連携設定をする。 ５．対象のGCSの「google.cloud.storage.object.v1.finalized」イベント をトリガーとするCloudFunctionを作成する。 ６．CloudFunctionにBigQueryへのデータ取り込み処理を実装する。

6.BigQuery-S3 EventDriven連携 IAMロールにアタッチしているポリシー AmazonS3ReadOnlyAccess AmazonSQSFullAccess

6.BigQuery-S3 EventDriven連携 IAMロールに設定している信頼ポリシー

6.BigQuery-S3 EventDriven連携 SQSキューのキューポリシー

6.BigQuery-S3 EventDriven連携 S3イベント通知設定1

6.BigQuery-S3 EventDriven連携 S3イベント通知設定2

6.BigQuery-S3 EventDriven連携 Storage Transfer Service設定

6.BigQuery-S3 EventDriven連携 Cloud Function設定

6.BigQuery-S3 EventDriven連携 S3にファイルをアップロード

6.BigQuery-S3 EventDriven連携 Storage Transfer Serviceが実行されていることを確認。

7.検証結果 検証方針として挙げていた以下４パターンについて、 全て問題なく実現できることを確認した。 １．S3からBigQueryへのデータ連携 ２．RedShiftからBigQueryへのデータ連携 ３．BigQueryからスプレッドシートへのデータ連携 ４．S3イベントドリブンによるBigQueryへのデータ連携

8.S3-BigQuery連携パターン ・S3→BigQuery間のデータ連携は大きく分けて以下の３パターン あるが、仕様の異なる部分があるため用途に応じて使い分けが必要。 ・Storage Transfer Service… アクセスキーの払い出しが必須のため、セキュリティ的に利用が難しい 場合がある。 ・BigQuery Omni… 今回の技術ソリューションでは検証できなかったが、IAMロールを 利用できるため、アクセスキーの払い出しが不要。 しかし対応リージョンが少なく、現状(検証当時)は日本のリージョンでは利用不可。 ・GCS経由… 上記同様IAMロールが利用できるが追加でGCSを利用するためコストが増える。