【Ltech#10】LIFULL HOME'S ネイティブアプリ用APIのデプロイを自動化する

1K Views

January 29, 20

#ltech #lifull #lifull home's #api #aws #自動化 #auto rollback #canary release #parameter store #api gateway id #AWS #Serverless #API Gateway #Lambda #CI/CD

スライド概要

2020/1/28　Ltech#10 不動産・住宅情報サイト「LIFULL HOME'S」の中の人が語るAWS活用前線
LIFULL HOME'S事業本部プロダクトエンジニアリング部プロダクトエンジニアリング3ユニット開発2グループ
衛藤剛史

株式会社LIFULL

@LIFULL

スライド一覧

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 9.66MB)

関連スライド

pmconf2023【プロダクトマネジメントで高速PDCA】アウトカムが激増したLIFULL HOME’Sのグロース事例

プロダクトマネジメントプロダクトマネージャー lifull

株式会社LIFULL 23.4K

HNSWの内部構造

lifull hnsw search

株式会社LIFULL 19.7K

CloudWatch LogsからGrafana Lokiにログ基盤を移行

lifull aws grafana ログ

株式会社LIFULL 18.2K

PrometheusとGrafanaで追求する、より良いアプリケーションの可観測性

lifull grafana ログ kuberentes

株式会社LIFULL 14.5K

LIFULL HOME'SでのSolrの構成と運用の変遷

lifull lifull home's engineering

株式会社LIFULL 11.4K

趣味と仕事の違い、現場で求められるアプリケーションの可観測性

技育祭エンジニア engineering programming プログラミング

株式会社LIFULL 9.6K

各ページのテキスト

LIFULL HOME'S ネイティブアプリ用API のデプロイを自動化する Jan 28, 2020 @ LTech #10 株式会社LIFULL 衛藤剛史 @doramusukotake

失敗した話 LIFULL HOME'S ネイティブアプリ用APIのデプロイを自動化しようとして Jan 28, 2020 @ LTech #10 株式会社LIFULL 衛藤剛史 @doramusukotake

10.

11.

12.

13.

14.

[beta]

課題1 .envファイル
{
"production": {
"env1": "hoge-prod",
"env2": "poge-prod"
},
"development": {
"env1": "hoge-dev",
"env2": "poge-dev"
}

env情報を.gitignoreして個人管理

}

14

© LIFULL Co.,Ltd.

本書の無断転載、複製を固く禁じます。

15.

16.

17.

18.

19.

Auto Rollback・Canaryリリースの実現 HelloDeployFunction: Type: AWS::Serverless::Function Properties: FunctionName: HelloDeployFunction AutoPublishAlias: dev1 Runtime: nodejs10.x Handler: index.handler Environment: Variables: NODE_ENV: test CodeUri: ./ DeploymentPreference: Type: Canary10Percent5Minutes Alarms: - !Ref AliasErrorMetricGreaterThanZeroAlarm - !Ref LatestVersionErrorMetricGreaterThanZeroAlarm Hooks: PreTraffic: !Ref PreTrafficLambdaFunction PostTraffic: !Ref PostTrafficLambdaFunction MemorySize: 128 19 Canary10Percent30Minutes Canary10Percent5Minutes Canary10Percent10Minutes Canary10Percent15Minutes Linear10PercentEvery10Minutes Linear10PercentEvery1Minutes Linear10PercentEvery2Minutes Linear10PercentEvery3Minutes AllOtOnce © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

20.

Auto Rollback・Canaryリリースの実現 HelloDeployFunction: Type: AWS::Serverless::Function Properties: FunctionName: HelloDeployFunction AutoPublishAlias: dev1 Runtime: nodejs10.x Handler: index.handler Environment: Variables: NODE_ENV: test CodeUri: ./ DeploymentPreference: Type: Canary10Percent5Minutes Alarms: - !Ref AliasErrorMetricGreaterThanZeroAlarm - !Ref LatestVersionErrorMetricGreaterThanZeroAlarm Hooks: PreTraffic: !Ref PreTrafficLambdaFunction この記述のみで Auto PostTraffic: !Ref PostTrafficLambdaFunction MemorySize: 128 20 Canary10Percent30Minutes Canary10Percent5Minutes Canary10Percent10Minutes Canary10Percent15Minutes Linear10PercentEvery10Minutes Linear10PercentEvery1Minutes Linear10PercentEvery2Minutes Linear10PercentEvery3Minutes AllOtOnce Rollback / Canary Release が実現 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

21.

22.

23.

24.

Parameter Store 取得処理 // load params from parameter store (async function () { await getParameters(); })(); hander() の外で実行により ● Lambda コンテナ立上時のみ実行 async function handler(event, context) { // lambdaエントリーポイント } ただし以下の問題がある ● handler() の処理待ち合わせが必要 ● handler() の処理が終わるとコールバックが来ない async function getParameters() { const ssm = new AWS.SSM(credentials); // パラメータストアから取得 const result = await ssm.getParametersByPath(request).promise(); // 後続処理 } 24 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

25.

Parameter Store 取得処理 // load params from parameter store (async function () { await getParameters(); })(); Event loop が空になるまで待たせるひつようがある (取得処理が間に合わない問題はある) async function handler(event, context) { // lambdaエントリーポイント context.callbackWaitsForEmptyEventLoop = true // 後続処理 } async function getParameters() { const ssm = new AWS.SSM(credentials); // パラメータストアから取得 const result = await ssm.getParametersByPath(request).promise(); // 後続処理 } 25 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

26.

Parameter Store 取得処理 // load params from parameter store (async function () { await getParameters(); })(); async function handler(event, context) { // lambdaエントリーポイント const testKey = process.env.TEST_KEY || null; if (testKey === null) { await getParameters(); } else { console.log('env is already set'); } // 後続処理 } async function getParameters() { const ssm = new AWS.SSM(credentials); Lambda のインスタンス立ち上がり後 // パラメータストアから取得 1回のみ取得するように const result = await ssm.getParametersByPath(request).promise(); // 後続処理 } 26 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

27.

28.

29.

30.

31.

Lambda alias / API Gateway stage が上書きされてしまう Deleted ! stage1 alias1 stage2 alias2 SAM Template 同じテンプレートで複数 stage / aliasはできない（既存のものが Delete される） → SAM ではなく CloudFormation の記述で回避（次項） 31 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

32.

CloudFormationの記述で回避 - API Gateway HelloDeployApiGateway: Type: AWS::Serverless::Api Properties: StageName: stage1 DefinitionUri: ./openapi.yaml Variables: alias: "stage1" Stage2: Type: AWS::ApiGateway::Stage Properties: RestApiId: !Ref HelloDeployApiGateway DeploymentId: !Ref HelloDeployApiGateway.Deployment StageName: stage2 Variables: alias: :stage2 32 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

33.

CloudFormationの記述で回避 - Lambda HelloDeployFunction: Type: AWS::Serverless::Function Properties: FunctionName: HelloDeployFunction AutoPublishAlias: dev1 // 略 LambdaAlias: Type: AWS::Lambda::Alias Properties: FunctionName: !Ref HelloDeployFunction FunctionVersion: !Select [7, !Split [":", !Ref HelloDeployFunction.Version]] Name: dev2 33 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

34.

35.

API複数リポジトリ運用の罠極力APIごとの依存関係を消し去りたいため、 ● Lambda Function ごとに github repository ● 共有なものはライブラリ化として package.json に記述 ● そのため、SAM template をそれぞれ独立させておく必要がある ● Lambda用ソースコード Lambda用ソースコード定義) ● swagger swagger (API (APIpath path定義) 35 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

36.

37.

38.

39.

40.

41.

42.

43.

END

44.

We are hiring engineers!! エンジニア積極採用中 LIFULL 採用検索