70人の開発者体験を支える NewsPicksのAWS アーキテクチャ

9.5K Views

March 09, 23

#AWS #コンテナ化 #ECS #CDK #開発者体験

スライド概要

"良い開発者体験"にむけた国内/海外のアーキテクチャLT会 AWS編での発表資料です
https://findy.connpass.com/event/274860/

Yuki Ando

@integrated1453

スライド一覧

経済ニュースアプリのSREの仕事をしています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.47MB)

関連スライド

3年間運用したCDKの失敗から学ぶCDK開発のプラクティス

Yuki Ando 121.7K

意外とマネージドなECS on EC2の運用

Yuki Ando 109K

SREチームがNew Relicを使って AWSコスト最適化に貢献した話

Yuki Ando 68K

AWSコストを全体で43.75%削減するためのコストモニタリング技術

Yuki Ando 62.6K

プロダクト開発エンジニア全員で取り組むオブザーバビリティ

Yuki Ando 49.2K

最高の開発者体験を目指してAWS CDKでCI/CDパイプラインを改善し続けている話

Yuki Ando 45.7K

各ページのテキスト

70人の開発者体験を支える NewsPicksのAWS アーキテクチャ株式会社ニューズピックス安藤裕紀 "良い開発者体験"にむけた国内/海外のアーキテクチャLT会 AWS編 - 2023.3.09(木)

01 ソーシャル経済メディア NewsPicksについてタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキスト ©NewsPicks Inc. All Rights Reserved.

01 NewsPicksはエンジニアの開発者体験を重要視しています NewsPicksエンジニア向け採用サイト※1の「働く環境/福利厚生」の1stビューに「最高の開発者体験の追求」を掲げています「Findy Team+ Award 2022」において、 NewsPicksが「エンジニア組織の生産性指標が高い企業」として選出されました※2 ※1 https://tech.newspicks.com/ ※2 https://tech.uzabase.com/entry/2022/10/25/151838 ©NewsPicks Inc. All Rights Reserved.

02 NewsPicksはAWSを活用しつつも、サーバー数は多かったシステム概略図 (〜2021) AWS Cloud Application Integration, Management & Governance Analytics services EC2インスタンスが100台以上 SQS SNS Parameter Store Redshift Glue Data Pipeline EC2 instances スマホアプリ Auto Scaling group Database services 社内・法人向けシステム … … Aurora Web newspicsks-server DynamoDB ElastiCache ECS containers Lambda functions feed services … … search batch billing services … ©NewsPicks Inc. All Rights Reserved. Storage S3 S3 Glacier

10.

02 2年かけて、現在ユーザー向けのサービスはコンテナ化がほぼ完了システム概略図 (2023〜) AWS Cloud ECS containers Analytics services web services … スマホアプリ Application Integration, Management & Governance bff services … SQS SNS Parameter Store Database services Redshift Glue Data Pipeline 社内・法人向けシステム (コンテナ化予定) api services … Web batch services … … Aurora DynamoDB ElastiCache ECS containers Lambda functions feed services EC2 instances search (ECS&OpenSearch Service化予定) ©NewsPicks Inc. All Rights Reserved. … … billing services … Storage S3 S3 Glacier

11.

12.

13.

03 EC2でレガシーな運用を行っていたことによる課題分類課題内容開発者にとってインフラに関する認知負荷、作業負荷 ● サーバーの構成を把握して、SSHして作業する必要がある ● ログの回収・調査など、複数台のサーバーから集めないといけないインフラの設定変更のリードタイム ● インフラの設定変更はSREチームに依頼が必要でリードタイムを要する結果、プロダクト開発のリードタイムにオーナーシップを持ってユーザーに価値を届けるということが難しくなるインフラの運用作業の工数 ● 設定のコード管理がされていないため、影響調査に時間がかかる ● AMIの作成と反映は作業の自動化がしづらく、手間がかかるので作業が億劫になり、頻繁に実施できない ● 開発環境の増設が簡単にはできない。(subnetやSGの設定など…) ● EC2でプロビジョニングしているリソースに無駄があっても、プロセスごとのメモリ使用率などがわからないので、削減余地が見えづらい ● EOLやAWSのメンテナンスなど、サービスや開発者の要件とは関係ない作業にリソースがとられるセキュリティの問題 ● 脆弱性管理はGitHub Dependabotによるライブラリのみが対象 ● OS・ミドルウェアの定期的なバージョンアップがされていない SRE (インフラ担当) にとって ©NewsPicks Inc. All Rights Reserved.

14.

03 コンテナ化して、プロダクト開発/運用のコア業務に集中したい運用の責任範囲のコンテナ化によるBefore/After アプリケーションアプリケーションライブラリライブラリミドルウェアミドルウェアよりアプリケーションに近い運用に集中 (コンテナランタイムやログ管理・モニタリングにマネージドサービスを利用) コンテナ化 OS OS ハードウェアハードウェア AWS利用者による運用一部AWSによる運用データセンター ©NewsPicks Inc. All Rights Reserved. データセンター AWSによる運用

15.

03 Infrastructure as Codeによって誰でもインフラを触れるようにしたい AWS Cloud Development Kit (AWS CDK) AWS CDK(TypeScript)の採用開発者がインフラを自分で開発して、プロダクト開発に大きな裁量を持って自走できるようにするために、NewsPicksではAWS CDKを全面採用 [AWS Black Belt Online Seminar] AWS Cloud Development Kit (CDK) https://d1.awsstatic.com/webinars/jp/pdf/services/2020 0303_BlackBelt_CDK.pdf ©NewsPicks Inc. All Rights Reserved. NewsPicksの開発者は普段からDynamoDBやSQS をアプリケーションから利用していて、AWSの SDKやサービスの開発知識を持っているので、 TerraformなどのDSLよりも、プログラミング言語からSDKを使う感覚で利用できるCDK with TypeScriptの方が読みやすく書きやすいと判断

https://d1.awsstatic.com/webinars/jp/pdf/services/20200303_BlackBelt_CDK.pdf

16.

03 EC2インスタンスからコンテナ化することで、やりたかったこと AWSのマネージドサービスを利用して、運用コストを削減できること ○ ログはサーバー外で一元管理・参照できる（ CloudWatch Logs,S3) ○ EC2インスタンスのメンテナンスや EOLに対応する必要がなくなる ○ アプリケーションに必要な最低限のリソースで運用できるようになる ○ セキュリティ対応の範囲を限定し、バージョンアップも楽になるインフラの設定がすべてコードで管理できるようになること ○ インフラの影響調査が楽になり、変更反映のリードタイムが短くなる ○ 開発環境の増設など、開発者のニーズに合わせた横展開も容易になる ○ CI/CDやプッシュ通知の AutoScalingなどサービス運用に適した自動化ができる ○ 開発者もインフラにコントリビュートできるようになる ©NewsPicks Inc. All Rights Reserved.

17.

03 もっとも多くの開発者が開発し、コードベースの大きい newspicks-serverとbatchを対象にコンテナ化システム概略図 (〜2021) AWS Cloud Application Integration, Management & Governance SQS SNS Parameter Store Analytics services Redshift Glue Data Pipeline EC2 instances スマホアプリ Auto Scaling group Database services 社内・法人向けシステム … … Aurora Web newspicsks-server DynamoDB ElastiCache ECS containers Lambda functions feed services … … search batch billing services … ©NewsPicks Inc. All Rights Reserved. Storage S3 S3 Glacier

18.

03 CDKを利用したAWSインフラストラクチャのIaC化 AWS CDK(TypeScript)で Infrastructure as Code(IaC)を実現 Constructという概念がありインフラの構成を部品化して再利用できるので、開発環境や開発者サービスを横展開しやすい TypeScriptの型を利用したインフラ設定における型制約の利用や、単体テストが書けることで、開発者体験とインフラ品質が両立できる ©NewsPicks Inc. All Rights Reserved.

19.

03 ChatOps + Step Functionsによる安全なリリースの自動化 ChatOpsでリリースの心理的安全性を向上 ECSサービスを本番/Canaryで用意し、ALBの Target Groupで数%をCanaryにルーティング Canaryで事前E2Eテスト・リリース判断ができる上に、ロールバックもボタン一つで自動化詳細は「NewsPicks ChatOps」で検索してブログ記事をどうぞ ©NewsPicks Inc. All Rights Reserved.

20.

02 コンテナ化の中で、最も中核となるバックエンドAPIだけはonEC2 システム概略図 (2023〜) AWS Cloud ECS containers Analytics services web services … スマホアプリ Application Integration, Management & Governance services ECS onbffEC2 … SQS SNS Parameter Store Database services Redshift Glue Data Pipeline 社内・法人向けシステム (コンテナ化予定) api services … Web batch services … … Aurora DynamoDB ElastiCache ECS containers Lambda functions feed services EC2 instances search (ECS&OpenSearch Service化予定) ©NewsPicks Inc. All Rights Reserved. … … billing services … Storage S3 S3 Glacier

21.

02 既存ワークロードを移行すると、Fargateでは料金が上がったため EC2からECSに移行した際、コンピューティングにFargateを選択すると同等のパフォーマンスを出すのにコストが +40% かかった NewsPicksではコンテナ化で +40%のコスト増は許容できなかったためECS on EC2にしたメリットや実際の運用など、詳細はブログと発表資料がありますのでご覧ください https://tech.uzabase.com/entry/2022/12/01/175423 https://www.docswell.com/s/integrated1453/K6Q8X K-operation-of-ecs-on-ec2 ©NewsPicks Inc. All Rights Reserved.

22.

23.

03 諸々の課題の改善・解決分類課題コンテナ化後開発者にとってインフラに関する認知負荷、作業負荷 ✅サービスの構成をAWSマネジメントコンソールで把握できるようになった ✅開発者はログ回収・調査のためにSSHしなくて良くなった。CloudWatch Logs でログ調査できるようになり、サーバーの構成を意識する必要がなくなったインフラの設定変更のリードタイム ✅インフラの設定変更がコード化されたので、開発者自身がリポジトリのコードを読んで、インフラ設定変更のPRが出せるようになった。開発者のプロダクト開発の自走力が向上し、問題解決の幅が広がったインフラの運用作業の工数 ✅すべての設定がコード化されているため、サーバーに SSHして設定調査しなくても本番環境の設定を信じられる。変更をする際の工数が大幅に減った ✅AMIの管理から開放されたので、nginxやfluentdなどミドルウェアの設定変更を気軽にできるようになった。開発者の要望に対応するリードタイムも短縮した ✅開発環境の増設が簡単にできるようになり、開発規模の変化に柔軟になった ✅ECSタスク・コンテナ単位のリソースモニタリングができるようになり、リソース効率の最適化・コスト削減の判断がしやすくなった ✅EC2インスタンスのEOLやAWSのメンテナンスなどにほぼ対応不要になったセキュリティの問題 ✅ECRの脆弱性スキャンにより、OSやミドルウェアに対しても継続的な脆弱性管理を行えるようになった(運用面には課題があるため別製品を検討中) ✅ミドルウェアやライブラリのバージョンアップを実施する作業負荷が減ったコードを修正しデプロイするだけなので、定期的に実施できるようになった SRE (インフラ担当) にとって ©NewsPicks Inc. All Rights Reserved.

24.

25.

26.

04 ● まとめよかったこと ○ コンテナ化・IaC化によって、SREチームの生産性や開発効率が上がり、よりサービスやプロダクト開発のためになるテーマに注力できるようになった ○ CDKによるIaC化で開発者自身でのインフラへのコントリビュートが容易になり、「ユーザーのためにできることはなんでもやる」文化のNewsPicksで、開発者がプロダクト開発のフルサイクルを自走して活躍できる幅が広がった ● 今後やっていきたいこと ○ インフラのモニタリング精度を上げてリソース効率とコストの最適化を進めたい(円安なので) ○ まだ他にEC2で動いているサービスをすべてコンテナ化・IaC化したい ○ より開発者体験を高めて、SLOモニタリングの啓蒙やセルフサービス化など信頼性を高める活動への支援も提供していきたい ©NewsPicks Inc. All Rights Reserved.

27.

https://tech.newspicks.com