IaC Generatorからのcdk migrate&importで手動作成リソースをIaC化するモブプロを定例化した話

2.3K Views

May 22, 24

スライド概要

JAWS-UG CDK支部 #14 IaC Generator祭りの発表資料です。
https://jawsug-cdk.connpass.com/event/317935/

Yuki Ando

@integrated1453

スライド一覧

経済ニュースアプリのSREの仕事をしています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 1.04MB)

関連スライド

各ページのテキスト

IaC Generatorからのcdk migrate&importで手動作成リソースをIaC化するモブプロを定例化した話株式会社ユーザベース安藤裕紀 JAWS-UG CDK支部 #14 2024/5/22

00 自己紹介安藤裕紀 / あんどぅ株式会社ユーザベース NewsPicks事業 SRE Unit Leader SREチームのマネージャー兼テックリード特技：AWSコスト削減や障害対応を愚直に100本ノックすること CDK Conference 2023の発表：『3年間運用したCDKの失敗から学ぶCDK開発のプラクティス』 https://www.docswell.com/s/integrated1453/5GXL7N-AWS-C DK-Conference-Japan-2023 ©Uzabase, Inc. All Rights Reserved.

https://www.docswell.com/s/integrated1453/5GXL7N-AWS-CDK-Conference-Japan-2023

https://tech.uzabase.com/archive/category/AWS

01 とはいえ、IaC化されていないリソースも多数存在 ● NewsPicksは2013年9月にサービス開始。当初からAWSを利用 ● CDKは2019年7月にGA。サービスの歴史としては後半から導入 https://aws.amazon.com/jp/blogs/aws/aws-cloud-development-kit-cdk-typescript-and-python-are-now-generally-available/ ● サービス開始当初から存在するストレージやネットワークのリソースは当然のように手動作成😇 ○ コンテンツのデータを格納するDynamoDBテーブルやS3バケット ○ 昔からあるVPCやサブネット、Security Groupなど ©Uzabase, Inc. All Rights Reserved.

https://aws.amazon.com/jp/blogs/aws/aws-cloud-development-kit-cdk-typescript-and-python-are-now-generally-available/

01 IaC化されていないとPRを作れない ● 開発チーム「このネットワーク設定の変更のPRを出したいと思ったんですが、CDKのコードってありますか？」 ● SREチーム「手動作成なので、dev環境で変更手順を検証して、本番のマネコンで変更権限を持った人とのペア作業でリリース実施していただけますか？」 ○ CDKによる変更は、PRがマージされることを条件に開発チームのメンバーが本番適用できるが、マネコンやCLIによる本番環境の変更はIAMの権限で制限している → 手動作成リソースは、開発者がセルフサービスでインフラの変更を行うことを阻害していた ©Uzabase, Inc. All Rights Reserved.

10.

01 毎月の当番制で「cdk import day」というイベントを開催 ● 手動作成リソースは膨大にあって、すべてをCDK管理に変更することは非現実的 ● 継続的に手動作成リソースをIaC化していく習慣をつけることで、IaC化の要望の多いリソースを徐々にCDK管理にしていくことにした ● IaC化の優先度の高いリソースをリストアップしておき、当番制で交代しながら1時間でcdk importまでやりきる ○ 会の最初で以下のような目標を決める「今日はXxxというCloudFront Distributionを importして既存スタックで管理できるようにするぞ！！」 ○ 終わらなかったら当番が宿題で持ち帰る ©Uzabase, Inc. All Rights Reserved.

11.

12.

01 cdk import dayの流れ 1. （事前準備）IaC Generatorのスキャンを開始しておく 2. 取り込み対象のリソース・スタックを決める 3. IaC Generatorでリソースを作成して、テンプレートを作成 4. 作成したテンプレートからcdk migrate でスタックのコードを作成 5. スタックのコードをConstructに書き換える 6. 既存のCDKのスタックにConstructを移植(本番環境のみデプロイされるようにする) 7. cdk importで既存のCDKのスタックにimport 8. CloudFormationでドリフト検出 9. PRをマージして完了 ©Uzabase, Inc. All Rights Reserved.

13.

14.

01 環境別の値がハードコードなテンプレートになるが、それを許容 ● 本番環境のリソースをIaC Generatorでテンプレート化した場合、参照している他リソースのARN等は固定値になってしまい、環境別のデプロイに対応しない ● 例えばCloudFront Distributionをテンプレート化すると、ACM証明書のARNが本番に存在するACM証明書の固定値になったりする。 →CDKでdev,production別に同じコードで管理するのは諦めて本番だけ管理する ©Uzabase, Inc. All Rights Reserved.

15.

[beta]

01 Construct化したコードを作成するかどうかを設定で管理
● Construct化してcdk importをする環境を、パラメータで管理
● 本番はデプロイする、開発はデプロイしない、をスタックで管理
本番環境のconﬁg.ts
{

既存スタックのコード
if (props.conﬁg.shouldCreateCloudFrontDistribution) {

shouldCreateCloudFrontDistribution: true,
}

new XxxCloudfront(this, "XxxCloudfront", {});
}

dev環境のconﬁg.ts は false

→IaC Generatorでテンプレート化したコードをなるべく修正せずに本番環境だけ管理
頑張らずに1リソースだけ、本番だけ、1時間で取り込むことを目指す
©Uzabase, Inc. All Rights Reserved.

16.

17.

18.

04 まとめ ● cdk importを習慣化したことで、手動作成リソースがなくなっていく気持ちよさ ○ よく開発チームからCDKで管理したい要望を受けるリソースも、無理なく「来月のcdk import dayでIaC化しましょう」と予定を立てることができる ○ 1時間で終わらなくても、みんなでやって終わらないと悔しいので、 PRをマージするまでやりきろうという気持ちになる ○ とりあえず本番だけ管理するimportをやるが、結局devのリソースも管理できようにするコード修正までやりたくなる(devは本番影響ないので気楽にできる) ● CDKのコードのリファクタリングの必要性に気づいてコードを改善する機運 ○ スタックのコードが肥大化しがちなので、シンプルに保ちたい気持ちになる ○ モブプロで話しているので、コードを改善していきたいという機運が高まる ©Uzabase, Inc. All Rights Reserved.

19.

IaC Generatorからのcdk migrate&importで手動作成リソースをIaC化するモブプロを定例化した話

Yuki Ando

関連スライド

3年間運用したCDKの失敗から学ぶCDK開発のプラクティス

意外とマネージドなECS on EC2の運用

SREチームがNew Relicを使って AWSコスト最適化に貢献した話

AWSコストを全体で43.75%削減するためのコストモニタリング技術

プロダクト開発エンジニア全員で取り組むオブザーバビリティ

最高の開発者体験を目指してAWS CDKでCI/CDパイプラインを改善し続けている話

各ページのテキスト