---
title: AWSデータサービス連携はおまかせ！AWS SDK for pandas
tags:  #aws #データ連携  
author: [Takuya Yamazaki](https://docswell.com/user/kkmtyyz)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/47Z1K64NJ3.jpg?width=480
description: 2025年7月31日に開催した社内イベント「AWSランチセッション第8回」の発表資料です。  AWSでサービス間のデータ連携をするとき、API呼び出しやクエリに専用のライブラリが必要だったり、JSONやParquetなどフォーマットも様々で毎回作りこむのは手間ですよね。そんな時に便利なAWS SDK for pandasについて紹介しています！ これを活用して、快適なBuilding Blockライフを楽しみましょう！
published: August 08, 25
canonical: https://docswell.com/s/kkmtyyz/52QJWR-2025-08-08-164536
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/47Z1K64NJ3.jpg)

2025-07-31 AWSランチセッション 第8回
AWSデータサービス連携はおまかせ！
AWS SDK for pandas
山崎 拓也


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YJ6LQ239EV.jpg)

山崎 拓也
所属: SIer
仕事:
• システム開発など
• アプリとAWSインフラ両方
好き: 低レイヤ、SF、AWS
AWSアワード:
• 2024～2025 Japan AWS Top Engineer
• 2022～2025 Japan All AWS Certifications Engineer


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GJ51R2LD74.jpg)

データサービスとの連携を毎回作りこむのは手間
• API呼び出しやクエリに専用のライブラリが必要・・・
• CSV, JSON, Parquetなどフォーマットも様々・・・


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LE31PKDQ75.jpg)

AWS SDK for pandasはそれを解決します！


# Page. 5

![Page Image](https://bcdn.docswell.com/page/8EDXL3PWJG.jpg)

AWS SDK for pandasとは
• AWSデータおよび分析サービスとPandas DataFrameで簡単にデータ連携する
ためのAWS公式Pythonライブラリ
• 以前はData Wranglerという名前だった
https://github.com/aws/aws-sdk-pandas
https://aws-sdk-pandas.readthedocs.io/en/stable/about.html


# Page. 6

![Page Image](https://bcdn.docswell.com/page/V7PP24NX78.jpg)

沢山のサービスをサポートしている


# Page. 7

![Page Image](https://bcdn.docswell.com/page/2JV2DXK3JQ.jpg)

Lambda関数ならAWS提供レイヤーを追加するだけで使用できる


# Page. 8

![Page Image](https://bcdn.docswell.com/page/5EGRYVQYJL.jpg)

S3への出し入れも簡単！
• 1行で様々なデータフォーマットを読み書きできる
S3からJSONファイルを読み込み
import awswrangler as wr
df = wr.s3.read_json(&#039;s3://.../my_file.json&#039;)
S3へParquetファイルとして書き出し
wr.s3.to_parquet(df, &#039;s3://.../my_file.parquet&#039;)
Athenaでクエリ
df = wr.athena.read_sql_query(
&#039;SELECT * FROM my_table&#039;,
&#039;my_database&#039;
)


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JQVM6K67P.jpg)

DBへのクエリも簡単！
• 接続情報はAWS Secrets Managerから取得できる
参照
import awswrangler as wr
with wr.mysql.connect(secret_id=&#039;my_secret&#039;) as con:
df = wr.mysql.read_sql_query(&#039;SELECT * FROM my_table&#039;, con)
挿入
with wr.mysql.connect(secret_id=&#039;my_secret&#039;) as con:
wr.mysql.to_sql(
df=pd.DataFrame([ {&#039;id&#039;: 1, &#039;name&#039;: &#039;test&#039;} ]),
con=con,
schema=&#039;my_database&#039;,
table=&#039;my_table&#039;
)


# Page. 10

![Page Image](https://bcdn.docswell.com/page/K74MV4PMJ1.jpg)

例えば、Data FirehoseとLambda関数との連携も簡単に実現できる
• Data FirehoseはParquetに変換して出力できる
• AWS SDK for pandasを使ってDataFrameとして読み込む
import awswrangler as wr
df = wr.s3.read_parquet(&#039;s3://.../my_file.parquet&#039;)


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LJ18349YEG.jpg)

まとめ
• AWS SDK for pandasなら様々なAWSサービスと簡単にデータをやり取り
できる
• Pandas DataFrameで扱うことができるため、データ処理部分の開発に集
中できる
• データ連携の際にはぜひご活用ください！


# Page. 12

![Page Image](https://bcdn.docswell.com/page/GJWZPXQ1J2.jpg)

ご清聴ありがとうございました。


