Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc

2.5K Views

May 28, 18

#jjug_ccc #Kubernetes #Spring Boot #マイクロサービス #CI/CD #ドメイン駆動設計

スライド概要

JJUG CCC 2018 Springの登壇資料です。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 159.9K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 85.4K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 72.6K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 57.4K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 34.8K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 28.9K

各ページのテキスト

自己紹介玉利拓郎ヤフー株式会社 2009入社 Yahoo!ウォレット Yahoo!ショッピング Yahoo!ズバトク Yahoo!マネー ↑タマリン @yotama 言語 Java 1.4 -> PHP 5.3 -> Java 8 Tamari Takuro Kotlinに浮気したい Rustも気になる Photo by Jeroen Kransen - Gouden leeuwaapje(2008) / CC BY-SA 2.0 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2

https://www.flickr.com/photos/48503061@N00/2954024509

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

k8sへ載せるのに必要なもの • k8sの基礎知識 • コンテナ • Dockerイメージの作成 • アプリケーション • クラウドネイティブ化 • Liveness probe / Readiness probe • Graceful Shutdown • k8s • manifestファイル Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 27

28.

29.

30.

31.

宣言的設定 • 「望ましい状態」を記述した設定ファイル (manifest)で定義 Copyright © 2017 apiVersion: extensions/v1beta1 kind: Deployment metadata: labels: app: campaign name: campaign spec: selector: matchLabels: app: campaign template: metadata: labels: app: campaign spec: containers: - image: docker-registry.xxxx.yahoo.co.jp:xxxx/zubatoku/zubatoku-campaign:latest name: campaign Yahoo JapanimagePullPolicy: Corporation. All Rights Reserved. Always YAMLで設定を書く 31

32.

Kubernetesのリソース構成イメージ transaction Ingress Service Service Deployment Deployment Pod Pod Pod Pod Pod Pod namespace 1サービスのセットそれぞれのリソースをYAMLで定義する Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. cluster ※飽くまでイメージです 32

33.

34.

35.

Deploymentの定義 apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx:1.7.9 ports: Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 35

36.

37.

38.

Ingressの定義 apiVersion: extensions/v1beta1 kind: Ingress metadata: name: test-ingress spec: rules: - host: myservice.yahoo.co.jp http: paths: - path: /lot backend: serviceName: lot servicePort: 80 - path: /entry backend: serviceName: entry servicePort: 80 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 38

39.

Ingress Ingress toku.yahoo.co.jp nginx /campaing01/lot lot Service • Ingressは前方一致でしか振り分けられない • ズバトクではnginxで振り分けを実施 /campaign01/entry entry Service Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 39

40.

41.

42.

43.

44.

[beta]

Dockerfile
• DockerfileでImageを定義
FROM openjdk:8

ベースのイメージ

ARG JAR_FILE
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java", "-Djava.security.egd=file:/dev/./urandom", "-jar", "/app.jar"]

プロセス起動用のコマンド

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

44

45.

46.

Dockerfile例 FROM docker-registry.xxxx.yahoo.co.jp:xxxx/xxxx/openjdk:8 RUN groupadd -r zubatoku && useradd -r -g zubatoku zubatoku COPY ./app.jar ./app.jar COPY ./run.sh ./run.sh EXPOSE 8080 USER zubatoku ENV TZ=Asia/Tokyo ¥ JAVA_GC_OPTS="" ¥ JAVA_HEAP_OPTS="" ¥ JAVA_METASPACE_OPTS="" ¥ JAVA_EXTRA_OPTS="" ¥ JAVA_OPTS="" ズバトクではオプション指定簡略化のため外部スクリプト化 ENTRYPOINT ["./run.sh", "app.jar"] Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 46

47.

48.

49.

クラウドネイティブなアプリ基本はTwelve-factor app クラウドで動くアプリケーションが従うべき12のプラクティス Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. コードベース依存関係設定バックエンドサービスビルド、リリース、実行プロセスポートバインディング並行性廃棄容易性開発/本番一致ログ管理プロセス 49

50.

51.

設定の環境変数からの読み込み • Spring Bootはプロパティを環境変数からバインドできる以下は等価 property spring.datasource.url=jdbc:mysql://localhost:3306/test 環境変数 SPRING_DATASOURCE_URL=jdbc:mysql://localhost:3306/test Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 51

52.

k8sで環境変数に注入 env: - name: SPRING_DATASOURCE_INITIALIZE value: "false" - name: APPLICATION_LOGGING_LEVEL valueFrom: configMapKeyRef: name: campaign-config key: application.logging.level optional: true - name: LOGGING_LEVEL_ROOT valueFrom: configMapKeyRef: name: campaign-config key: logging.level.root optional: true - name: SPRING_DATASOURCE_URL valueFrom: secretKeyRef: name: campaign-env Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. key: datasource-url k8s/deployment.yaml env: - name: 環境変数名 valueFrom: 値の取得元 (ConfigMap or Secret) 52

53.

54.

Liveness probe / Readiness probe Liveness probe • アプリケーションが生きてるかどうかをチェック • NGならばpodを再作成 Readiness probe • 利用可能になっているかのチェック • OKになったらサービスイン Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 54

55.

56.

コード例 @Endpoint(id = "liveness") public class LivenessEndpoint { @Endpoint(id = "readiness") public class ReadinessEndpoint { private final HealthEndpoint healthEndpoint; public ReadinessEndpoint(HealthEndpoint healthEndpoint) { this.healthEndpoint = healthEndpoint; } @ReadOperation public Health execute() { return Health.up().build(); } @ReadOperation public Health execute() { return this.healthEndpoint.health(); } } } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 56

57.

Liveness probe / Readiness probe deployment.yamlに設定を記述 livenessProbe: httpGet: path: /liveness port: 9990 initialDelaySeconds: 60 timeoutSeconds: 1 periodSeconds: 5 readinessProbe: httpGet: path: /readiness port: 9990 initialDelaySeconds: 20 timeoutSeconds: 5 periodSeconds: 5 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. application.yml management: security: enabled: false port: 9990 endpoints: health: path: readiness 外部からアクセス出来ないように actuatorのportを9990に 57

58.

59.

60.

Graceful Shutdownの実装 • ActuatorのShutdown Endpointを拡張し、処理中のリクエストがなくなるまでWait lifecycle: preStop: httpGet: path: /shutdown port: 9990 deployment.yaml ※ActuatorのShutdownEndpointはGracefulではないので注意 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 60

61.

62.

63.

相関ID • Spring Cloud Sleuthを使用 • 依存を追加するだけでリクエストで一意な IDをログに出力 • サービス数が多いのでこれがなければ運用がつらくなる time:2018-03-22T13:52:22.855+09:00 time:2018-03-22T13:52:23.123+09:00 level:INFO trace_id:8f01dc2dc4a7f7b6 level:INFO trace_id:8f01dc2dc4a7f7b6 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. span_id:8f01dc2dc4a7f7b6 span_id:8f01dc2dc4a7f7b6 63

64.

65.

66.

開発フロー 7. マージ 5. パブリッシュ 4. テスト/ビルド GitHub Docker registry Concourse CI 6. プルリクエスト 1. clone 3. プルリクエスト Deploy ・・・ 2. 開発/テスト develop Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. e2e production 66

67.

68.

69.

70.

E2Eテスト • 全サービスを通してのテスト • JUnit • Selenium @Test public void 抽選_01_くじを引く() throws Exception { ログインケース .ログインする(xxxx); 抽選ケース .Action_抽選画面を開く(CAMPAIGN_PATH) .Verify_抽選_抽選画面を表示(xxxx) .Verify_抽選_キャンペーン期間表示(); } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 70

71.

72.

73.

74.

75.

JPAのEntity実装 @Entity @Data @Table(name = ”sample") PartitioningPolicyを設定するだけ @IdClass(SamplePk.class) @Partitioning( name = ”sampleIdPartitioning", partitioningClass = SampleIdPartitioningPolicy.class) @Partitioned(”sampleIdPartitioning") @AllArgsConstructor @NoArgsConstructor public class SampleJpaEntity { @Id Long sampleId; @Id Integer hogeId; Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 75

76.

ID生成の問題アプリやDBが分散することでDBサイドでの ID発行(AUTO_INCREMENT)が扱いづらくなった • →アプリサイドでの発行が必要 • →標準規格のUUIDは36byteもあり性能面の不安 • f48b53b8-fe1e-4670-a19a-650fda31bced Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 76

77.

78.

64bitの独自ID体系を採用 timestamp machine id sequence 41bit 12bit 10bit 63bit timestamp(41bit) : 現在のunixtime(milliseconds)から、ある時点のunixtimeを引いた値 machine id(12bit) : 生成器ごとに割り当てられたID sequence(10bit) : 生成器ごとに採番するsequence番号 BIGINTに収まりほぼインクリメンタルなので、MySQLで効率的に扱える Twitterのsnowflakeを参考に実装 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 78

79.

80.

81.

82.

83.

大変だったところ • 利用技術のスイッチ • パッケージングやCI/CD、利用言語も変更したため • 社内PFとの連携 • IPベースのACLからの変更 • 考え方のスイッチ • 従来のアーキテクチャからCloud Nativeなものへ • まだ、k8sのポテンシャルを十分引き出せていない Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 83

84.

85.