Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

システム構成補足 • 現在約20サービスほど • オンプレ環境に構築したPivotal Cloud Foundry上で稼働 • Spring Bootと一部Node.js • 非同期部分はPulsarとSpring Cloud Stream • MySQL、Cassandra、内製のS3互換ストレージ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

26.

Pivotal Cloud Foundry • Pivotal社製のCloud Foundry • PaaS • コマンド1つでアプリケーションが立ち上がる $ cf push -p build/libs/hoge-1.0.0.jar 数分後 https://hoge.XXXX.yahoo.co.jp/ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://hoge.XXXX.yahoo.co.jp/

27.

28.

29.

Spring Cloud Stream • Springでメッセージングシステムを使うフレームワーク • 公式ではRabbitMQとKafkaをサポート • Pulsarは公式ではサポートされていないので内製対応 Producer Message Broker Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Consumer

30.

31.

Source / Processor / Sink 入稿サービス解析処理入稿API データ保存 Processor Source 処理済みデータ（Cassandra）入稿データ（MySQL）旧PF レガシーアダプタ参照サービス Sink バッチ処理用データ保存 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ストレージ Hadoop

32.

[beta]

依存の追加
ext {
springCloudVersion = 'Dalston.SR4'

使うbrokerのものを指定

}
dependencies {

compile('org.springframework.cloud:spring-cloud-starter-stream-rabbit')
compile('org.springframework.boot:spring-boot-starter-web')
compile('org.springframework.boot:spring-boot-starter-actuator')
testCompile('org.springframework.boot:spring-boot-starter-test')
}
dependencyManagement {

その他はお好みで

imports {
mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}"
}
}

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

33.

依存の追加 RabbitMQの場合 org.springframework.cloud:spring-cloud-starter-stream-rabbit Kafkaの場合 org.springframework.cloud:spring-cloud-starter-stream-kafka Pulsarの場合（自作） com.example:spring-cloud-starter-stream-pulsar Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

34.

Sourceの実装 @SpringBootApplication @RestController public class SourceDemoApplication { @PostMapping public void send(@RequestBody Map<String, String> message) { // ここに送信する処理を書く } } public static void main(String[] args) { 〜略〜 } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

35.

Sourceの実装 @SpringBootApplication @RestController @EnableBinding(Source.class) public class SourceDemoApplication { @PostMapping public void send(@RequestBody Map<String, String> message) { // ここに送信する処理を書くアノテーションを追加 } } public static void main(String[] args) { 〜略〜 } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

36.

[beta]

Sourceの実装
@SpringBootApplication
@RestController
@EnableBinding(Source.class)
public class SourceDemoApplication {
@Autowired
private Source source;
@PostMapping
public void send(@RequestBody Map<String, String> message) {
// ここに送信する処理を書く
インジェクション
}
}

public static void main(String[] args) { 〜略〜 }

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

37.

[beta]

Sourceの実装
@SpringBootApplication
@RestController
@EnableBinding(Source.class)
public class SourceDemoApplication {
@Autowired
private Source source;

送信処理

@PostMapping
public void send(@RequestBody Map<String, String> message) {
source.output().send(MessageBuilder.withPayload(message).build());
}
}

public static void main(String[] args) { 〜略〜 }

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

38.

Sourceの設定 spring.rabbitmq.addresses=localhost:5672 spring.rabbitmq.username=guest spring.rabbitmq.password=guest broker固有の設定 spring.cloud.stream.bindings.output.destination=foo_topic spring.cloud.stream.bindings.output.contentType=application/json binderの設定 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

39.

broker固有の設定 spring.rabbitmq.addresses=localhost:5672 spring.rabbitmq.username=guest spring.rabbitmq.password=guest RabbitMQの例 spring.cloud.stream.kafka.binder.brokers=localhost spring.cloud.stream.kafka.binder.defaultBrokerPort=9092 spring.cloud.stream.kafka.binder.zkNodes=localhost spring.cloud.stream.kafka.binder.defaultZkPort=2181 Kafkaの例 spring.cloud.stream.pulsar.binder.clusterUrl=pulsar://localhost:6650 Pulsarの例(イメージ) Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

40.

Source側のbinderの設定送信先トピック spring.cloud.stream.bindings.output.destination=foo_topic メッセージのシリアライズ方法 spring.cloud.stream.bindings.output.contentType=application/json JSONがオススメ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

41.

Sinkの実装 @SpringBootApplication public class SinkDemoApplication { public void receive(Map<String, String> data) { // ここに受信したメッセージの処理を書く } } public static void main(String[] args) { 〜略〜 } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

42.

Sinkの実装 @SpringBootApplication @EnableBinding(Sink.class) public class SinkDemoApplication { public void receive(Map<String, String> data) { // ここに受信したメッセージの処理を書くアノテーションを追加 } } public static void main(String[] args) { 〜略〜 } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

43.

Sinkの実装 @SpringBootApplication @EnableBinding(Sink.class) public class SinkDemoApplication { @StreamListener(Sink.INPUT) public void receive(Map<String, String> data) { // ここに受信したメッセージの処理を書く } } public static void main(String[]アノテーションを追加 args) { 〜略〜 } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

44.

[beta]

Sinkの実装
@SpringBootApplication
@EnableBinding(Sink.class)
public class SinkDemoApplication {
@StreamListener(Sink.INPUT)
public void receive(Map<String, String> data) {
System.out.println("Received : " + data.toString());
}
}

public static void main(String[] args) { 〜略〜 }

処理を書く

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

45.

Sinkの設定 spring.rabbitmq.addresses=localhost:5672 spring.rabbitmq.username=guest spring.rabbitmq.password=guest broker固有の設定 spring.cloud.stream.bindings.input.destination=foo_topic spring.cloud.stream.bindings.input.group=bar_group binderの設定 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

46.

Sink側のbinderの設定受信トピック spring.cloud.stream.bindings.input.destination=foo_topic ConsumerGroup名 spring.cloud.stream.bindings.input.group=bar_group Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

47.

48.

49.

50.

Spring Boot Actuator連携接続先のbrokerのヘルスチェック { "status": "UP", 〜中略〜 "rabbit": { "status": "UP", "version": "3.6.12" }, "binders": { "status": "UP", "rabbit": { "status": "UP", "binderHealthIndicator": { "status": "UP", "version": "3.6.12" } } } } Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

51.

52.

53.

54.

55.

56.

57.

58.

59.

60.

61.

62.