YJTC18 A-3 Yahoo! JAPANを支える開発基盤

241 Views

January 29, 18

スライド概要

Yahoo! JAPAN Tech Conference 2018 A-3 セッションのスライドです。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 194.1K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 92.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 82.9K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 65.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 43.5K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 33.7K

各ページのテキスト

Cloud Foundry ・OSSのPaaSプラットフォーム・多くのベンダーで採用 Cloud Foundryをベースとした商用プロダクトなどの場合、他のPaaSプラットフォームのノウハウも参考にできる・動作環境を選ばない複数のIaaS(OpenStack, vSphere) や仮想化基盤を利用できる・拡張性が高い好みの開発言語やデータベースなどを追加・拡張して独自のPaaSとしてカスタマイズしやすい Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

Concourse ・OSSのCI/CDプラットフォーム・パイプラインベースのCI/CDツールジョブの繋がりを表すWebUIでのわかりやすい管理・再現性の高いCI/CD ymlファイル+Dockerをベースに実行するため、環境再現が容易・拡張が容易カスタムできる要素が広く、社内プラットフォームと繋ぎこみやすい・CloudFoundryとの相性◎ デプロイは既に機能化されており、すぐに利用可能 Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

サービスを“10倍”開発したい・サービス開発するためのリソースを定常運用作業に取られてしまう → 脆弱性対応、スケールアウトなど → サービスエンジニアが付加価値の高い開発に集中できるように・計算資源の共通PF化による社内サポート・基盤の共通化 → runtime部分をbuildpackの概念で共通化 → 利用できる言語・バージョンなどが統一される Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

10.

11.

クラスタ稼働状況 sandbox dev staging production Cluster # 2 2 1 2 Hypervisor # 40 40 40 40 App instance # - 3,131 - 726 Rps at peak time - - - 3,000 Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

12.

クラスタ稼働状況(2017年度末見込) sandbox dev staging production Cluster # 2 2 1→2 2→6 Hypervisor # 40 40 40 40 App instance # - 3,131→4,000 - 726→1,300 Rps at peak time - - - 3,000→30,000 Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

13.

PFとの接続 (manual provisioning) Cache Service redis FaaS MQ PULSAR RDB App Role Based ACL ATHENZ KVS Object Storage MariaDB FOUNDATION cassandra Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

14.

PFとの接続 (auto provisioning) Cache Service redis FaaS MQ PULSAR RDB App Role Based ACL ATHENZ KVS Object Storage MariaDB FOUNDATION cassandra Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

15.

PFとの接続 (auto provisioning) Cache Service redis FaaS MQ PULSAR 同じCLIツール(cf CLI)を利用し、社内PF上のインスタンスのprovisioningが可能な世界を作る RDB App Role Based ACL ATHENZ KVS Object Storage MariaDB FOUNDATION cassandra Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

16.

まとめ・ヤフーでは PaaSを使っています → CloudFoundry, Concourse を採用しています・何故PaaSを導入したのか？ → 10倍サービス開発・付加価値の高い開発に集中するため・これまで・これからの PaaS の利用展望 → 今年はクラスタ数・規模共に拡大を行っていく → CloudFoundryの中でインスタンスのprovisioningが可能な世界を作る Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

17.