【Ltech#10】CloudFormationによるLIFULL HOME'Sサイト問い合わせ情報登録APIの構築と管理

436 Views

January 29, 20

#ltech #lifull #lifull home's #cloudformation #api #aws #salesforce #api gateway #lambda #serverless framework #CloudFormation #LIFULL #Salesforce #API #データ管理

スライド概要

2020/1/28　Ltech#10 不動産・住宅情報サイト「LIFULL HOME'S」の中の人が語るAWS活用前線
テクノロジー本部情報システム部CoEユニット開発推進グループ
青木直之

株式会社LIFULL

@LIFULL

スライド一覧

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.84MB)

関連スライド

pmconf2023【プロダクトマネジメントで高速PDCA】アウトカムが激増したLIFULL HOME’Sのグロース事例

プロダクトマネジメントプロダクトマネージャー lifull

株式会社LIFULL 23.8K

HNSWの内部構造

lifull hnsw search

株式会社LIFULL 20.4K

CloudWatch LogsからGrafana Lokiにログ基盤を移行

lifull aws grafana ログ

株式会社LIFULL 18.8K

PrometheusとGrafanaで追求する、より良いアプリケーションの可観測性

lifull grafana ログ kuberentes

株式会社LIFULL 15.5K

LIFULL HOME'SでのSolrの構成と運用の変遷

lifull lifull home's engineering

株式会社LIFULL 11.4K

趣味と仕事の違い、現場で求められるアプリケーションの可観測性

技育祭エンジニア engineering programming プログラミング

株式会社LIFULL 9.6K

各ページのテキスト

はじめに・本資料は2020年1⽉28⽇に株式会社LIFULL が開催したイベント【Ltech#10 不動産・住宅情報サイト「LIFULL HOME'S」の中の⼈が語るAWS活⽤前線】の資料です。・本資料に掲載している画像については、⼀部を隠したり加⼯した画像を表⽰しております。ご容赦ください。・本資料内では、いくつかのクラウドサービスを利⽤している事を⽰す為、各サービスのロゴ画像を利⽤させて頂いております。ロゴ画像については、以下のように引⽤元のURLを記載させて頂いております。⽇頃から各サービスを利⽤させて頂いており、⾮常に活⽤させて頂いております。誠にありがとうございます。 https://www.salesforce.com/jp/ https://www.tableau.com/ja-jp https://aws.amazon.com/jp/architectur e/icons/ Google BigQuery https://www.postgresql.jp/npo/logo https://cloud.google.com/icons/?hl=ja https://www.docker.com/company/ne wsroom/media-resources https://serverless.com/ 2 Copyright© LIFULL All Rights Reserved.

⻘⽊直之 (あおきなおひさ) ・2015年4⽉中途⼊社。・LIFULLにはデータベース & インフラエンジニアとして中途⼊社、主にインフラ系プロジェクトを担当。・LIFULL HOMEʼSデータベースサーバ等のインフラ設計〜構築〜管理。・LIFULL HOMEʼSのオンプレミスサーバ群のAmazon Web Services(AWS)へのインフラ移⾏。・上記の完了後、未来のLIFULLを⽀える新しいデータベースの形を考えていた頃、Salesforceに出会う。・Salesforce開発を⾏う「開発推進グループ」という部署でグループ⻑とエンジニアを担当しながら、 SalesforceとAWS等を組み合わせて、個⼈情報管理やCRM等のシステム開発と普及を推進。・たまにアウトプットしてます。( https://qiita.com/na0AaooQ ) 3 Copyright© LIFULL All Rights Reserved.

https://qiita.com/na0AaooQ

プロジェクトサービス • LIFULLでは様々なサービスがあり、様々なシステム、データベース、ドキュメント、⼈が保有しているナレッジ等のデータがある。 • ⽇々新しいサービスやデータが増えている。プロジェクトプロジェクト • 様々な場所にデータが散在。サービスサービス • これら散在するデータを集め、繋げ、活⽤する事で、ユーザ様へより最適な体験やサービスをお届けしたい。 7 Copyright© LIFULL All Rights Reserved.

オムニチャネルの実現オムニチャネルとは、デスクトップからモバイル、オンラインからオフライン、またその他のすべてのタッチポイントを横断したチャネル全体で、⼀⼈⼀⼈のユーザ様に対して、⼀貫性のある最適化された体験をご提供するマーケティング戦略。⼀箇所にデータを集めて、オムニチャネルを実現。 LIFULLのエンドユーザ様へ最⾼のユーザ体験をご提供したい。

各マーケットやサービスに散らばる情報を集め、繋げ、相互活⽤していくCRMを実現したい。⼈が繋げていた情報をマーケティング Salesforce LIFULL HOMEʼ等 LIFULLの各サービス LIFULL内の社内システム (基幹系システム等) Salesforceにより繋ぎ、CRM実現を⽬指す

10.

11.

• まずは、本資料の題材であるシステムアーキテクチャを簡単にご紹介します。 • SalesforceというサービスにはSFA(営業⽀援)、CRM(顧客関係管理)をはじめ、顧客中⼼のデータベースを実現する上で、豊富な機能を備えています。ただ、ビジネス要件によっては、Salesforce単独では実現が難しい場合もあるかもしれません。 • そのような場合、SalesforceとAWS他技術を組み合わせることで、かなり要件が実現しやすくなる事があります。 • ここからは、LIFULLにおけるSalesforceとAWSを組み合わせたシステム開発事例とシステムアーキテクチャを簡単にご紹介します。 ※本資料に掲載している画像については、⼀部マスクした画像を表⽰しております。ご容赦ください。 11 Copyright© LIFULL All Rights Reserved.

12.

• 個⼈情報管理機能 (詳細後述) • CRMの基盤となる個⼈情報データベース • お問い合わせデータ登録API • お問い合わせユーザの名寄せ機能 • 問い合わせ機能 (詳細後述) • LIFULL HOMEʻSサイト等で使⽤しているお問い合わせフォーム機能 • お問い合わせエスカレーション機能 • レポーティング機能 (詳細後述) • LIFULLの営業活動における商談レポート⽣成機能 • AWSとS3によるSalesforceサイト上へのレポート配信機能 • その他機能 (詳細後述) • LINEソーシャルログイン機能 • LINEメッセージ配信機能 12 Copyright© LIFULL All Rights Reserved.

13.

14.

• Salesforce上に個⼈情報を格納するデータベースを構築。 • LIFULL HOMEʼSサイト等のユーザ様の問い合わせ情報をSalesforceに登録。 • 現在は⼀部サイトのデータのみ登録しているが、順次対象サービスを拡⼤。 Tableauによる商談レポート⽣成問い合わせ登録API 各LIFULLサイト個⼈情報各LIFULLサイト個⼈情報 Salesforce 問い合わせフォーム各サイトのお問い合わせ個⼈情報 (属性情報) 問い合わせがあったサービス名等個⼈情報 (属性情報) 各種データ様々なLIFULL データベース

15.

• Salesforceは年3回のメジャーバージョンアップ時間帯、サービス利⽤不可となる。 • Salesforceシステムメンテナンス等の時間帯も含めて、24時間365⽇、お問い合わせデータを登録できるようにしたい。AWS上に問い合わせデータ登録APIを開発。 • API GatewayやLambda等を利⽤し、Salesforceへ問い合わせデータを登録している。各LIFULLサイトが稼働するAWS環境 Salesforceへのデータ登録 APIが稼働するAWS環境 Salesforceのオブジェクトお問い合わせ個⼈情報属性情報取引先 (個⼈取引先)

16.

• LIFULL HOMEʼSサイトの問い合わせフォームで、問い合わせを⾏うと、お問い合わせデータ登録APIにより、Salesforceにお問い合わせデータと個⼈情報が登録される。

17.

18.

19.

• AWS CloudFormationとは「すべてのクラウドインフラストラクチャリソースのモデル化とプロビジョニング」するAWSのサービスです。 • https://aws.amazon.com/jp/cloudformation/ • AWS CloudFormationを簡潔に表現すると、コードによるAWS環境構築と管理の⾃動化サービスです。 • AWS環境の構成や設定情報をコード(yaml等)に記述し、記述したコードをAWS環境の「CloudFormation」にデプロイすると、コード通りにAWS環境を構築できます。 • CloudFormationを利⽤すると、VPC, IAM, KMS, ACM, DynamoDB, Lambda, API Gateway等のAWS構築や設定作業を⾃動化できます。 19 Copyright© LIFULL All Rights Reserved.

https://aws.amazon.com/jp/cloudformation/

20.

21.

22.

23.

• 前述のSalesforceへの問い合わせ情報登録API環境については、CloudFormation + Serverless Framework + ESLint + Jest等を組み合わせて環境構築⾃動化や構成管理をしています。そろそろ1年以上稼働させていますが、安定稼働しております。各LIFULLサイトが稼働するAWS環境 Salesforceへのデータ登録 APIが稼働するAWS環境 Salesforceのオブジェクトお問い合わせ個⼈情報属性情報取引先 (個⼈取引先)

24.

• 簡潔にまとめると以下のような構成にしています。 • ローカル開発環境で開発し、ESLint + cfn-lint + Jestでテストをかけて、問題なければ、 AWS環境へ反映されるようにしています。 Docker + Serverless Frameworkによるローカル開発環境問い合わせ登録API リポジトリ push (ESLintとJestによるテスト実⾏) CloudFormation CloudFormation スタックへデプロイ

25.

• 前述のSalesforceへの問い合わせ情報登録API環境構築にあたり、CloudFormation を利⽤した主な理由をご紹介します。 No 分類理由 1 開発者/運⽤者の⼿作業オペレーションコスト削減システム初期開発時点では、開発者/運⽤者チームは私(⻘⽊)を含めて2名かつ兼務(今は3名になった)の少⼈数チーム。環境構築や設定の⼿作業をなくし、オペレーション負荷をなくしたい。 2 開発者/運⽤者の⼈材育成システム初期開発時点では、AWS経験者が私以外いなかったので、なるべく管理⼿法はAWS公式の⼿法に統⼀し、CloudFormationの学習を通して、開発者/運⽤者チームのAWSスキル習得・⼈材育成の機会にしたい。 3 冪等性の担保設定情報をコード化することで、誰が環境構築を⾏っても、同じ結果を得られるようにしたい。もしコードにミスがあっても、コードを修正して改善し、エンジニアがチャレンジしやすい状態にしたい。 4 構成管理と属⼈化防⽌⻑期間使っていくシステムかつ個⼈情報を扱うシステムの為、設定情報をコードで管理し、構成を管理したい。属⼈化を防ぎたい。 25 Copyright© LIFULL All Rights Reserved.

26.

• 今回紹介した環境では、ごく⼀部の設定を除き(詳細は後述)、すべてのAWSリソースの環境設定情報をCloudFormationテンプレート化して、コード管理しています。 CloudFormationでコード化している主な設定は以下の通りです。 No 分類 CloudFormationで管理している主なリソース 1 ネットワーク系 4 セキュリティ/権限系 VPC Route 53 ACM (SSL) IAM 5 アプリケーション系 Lambda 2 3 7 SQS DynamoDB 8 CloudFront 9 WAF 10 CloudWatch 6 26 Copyright© LIFULL All Rights Reserved.

27.

28.

29.

30.

• AWS CloudFormationの利⽤にあたり、設計の検討経緯を簡単にご紹介します。 • 初期設計時、CloudFormationコードのファイル(テンプレート)は1ファイルにまとめようと考えた時期がありました。1つのファイルにすべての設定を記載すると、ある意味シンプルと考えた為です。 • ただ、検討を少し進めた段階で、CloudFormationテンプレートを1ファイルにすべてまとめようとすると、⾏数が肥⼤化し、メンテナンス性が落ちると判断しました。 • また、1ファイルが⼤きすぎると、ファイル内の⼀部を更新するだけでもCloudFormationテンプレートによるスタック更新、もし問題があった時のCloudFormationスタックのロールバックにも時間がかかります。 30 Copyright© LIFULL All Rights Reserved.

31.

• 最終的には、ある程度関連し合うAWSサービス単位/機能単位で、CloudFormatioテンプレートを分けることにしました。 • CloudFormationテンプレートの粒度設計にあたり、クロススタック参照で複数の CloudFormationテンプレート間で設定を相互参照させることも考えました。 • が、CloudFormationテンプレート間の依存関係が複雑になるので、テンプレート間で連携が必要な設定値は、パラメータ化し、 CloudFormationテンプレート外部から指定させることにしました。 • CloudFormationテンプレートは、階層構造で表現可能、コメント記述可能なyaml形式で統⼀しました。 • CloudFormationスタックには「削除保護」を設定します。これにより、万が⼀のオペレーションミスによって、CloudFormationスタック削除とAWS環境削除、ひいてはサービス停⽌を防⽌します。 31 Copyright© LIFULL All Rights Reserved.

32.

• 最終的には、以下のようなAWSリソースの設定情報をGitHub上でコード管理、 CloudFormationによる環境構築⾃動化や構成管理を⾏っています。 • VPC • VPC, Subnet, Route Tabke, Internet Gateway, NAT Gateway, EIP, VPC EndPoint) • Route 53 • DNS Hosted Zone, DNS Record Sets • SSL (ACM) • SQS • DynamoDB • Lambda • API Gateway • IAM • IAM User, IAM Role, IAM Policy • KMS • CloudWatch • CloudWatch Event, CloudWatch Log Group, CloudWatch Rule • AWS WAF • AWS CloudFront 等 32 Copyright© LIFULL All Rights Reserved.

33.

• あえて、CloudFormationテンプレート化せず、⼿動で設定しているものが⼀部あります。 • 今回ご紹介したAPIやシステムは、個⼈情報を取り扱うシステムです。 • 万が⼀、CloudFormationテンプレート誤削除や意図しない問題により、AWSリソースや環境が⾃動削除されてしまった場合でも、異常の検知は⾏えるようにしたいと考えました。管理者ユーザや⼀部の監視設定はCloudFormation管理対象外とし、⼿作業で設定しております。 • IAM User • 私(⻘⽊)やAWSシステム管理者の⼀部のIAMユーザ • AWS 監査設定 • AWS CloudTrailログ記録設定 (監査ログ) • AWS CloudTrailログ保存⽤S3バケット作成 • AWS SNS (CloudWatch等の監視アラームをメールやChatworkで通知する設定) • CloudWatchでAWS利⽤料⾦を監視する請求アラーム設定 • AWS Lambdaの環境変数に設定するSalesforce APIキー情報 + APIキーをKMS暗号化して設定する作業 33 Copyright© LIFULL All Rights Reserved.

34.

• CloudFormationでAWS環境を運⽤したみて感じたメリット、デメリットをまとめてみました。 (あくまで今回紹介した環境下での、私個⼈の所感です) メリットデメリット・⼿作業を⾃動化できる。・(あえて挙げるとしたら)少し設定変更を試したい場合、コード変更とCloudFormationへのデプロ・⼿作業で設定しているうちに、誰が何の設定を⾏っイが必要となる。たか忘れてしまい、カオスになる状態を防げる。・(あえて挙げるとしたら)AWS初⼼者(AWSマネ・誰が設定をデプロイしても、コード通り環境が設定ジメントコンソールを初めて触るぐらいの⽅)がされる。 CloudFormationを触る場合、初期学習コストがかかる。・設定情報がコード化されているので、コードベースで設定を確認・検索・調査できる。・CloudFormation内で記述した設定に不備や⽭盾がある場合、CloudFormationスタックへのデプロイ反映が中⽌(ロールバック)されるので、障害発⽣リスクを減らせる。 34 Copyright© LIFULL All Rights Reserved.

35.

36.

• CloudFormationにより、AWS環境構築や管理を⾃動化すると、環境構築や設定作業の⼿作業をなくしたり、属⼈化防⽌、冪等性を担保できるので、とても良いです︕ • CloudFormationのコード分割粒度、どの範囲までコード化するかは、ビジネスやシステム要件、AWS開発者/運⽤者チームの⼈数や習熟度を材料に検討すると良いと思います。 • 例えば、1ヶ⽉しか使わず、他の⽤途で全く転⽤しないAWS環境ならば、CloudFormationによる環境構築や管理の⾃動化はあえて⾏わない・・という判断もありかと思います。(CloudFormationの初期学習コストをなくすため) 36 Copyright© LIFULL All Rights Reserved.

37.