Spring Cloud Data Flow の紹介 #streamctjp

Spring Cloud Data Flow の紹介 ヤフー株式会社 浅沼 孝信 2017年7月27日 http://www.yahoo.co.jp/

• http://www.yahoo.co.jp/

自己紹介 • 名前 • 浅沼 孝信 • 業務履歴 • 2012年新卒入社 • Hadoop周りの業務（HDFS ECの開発など） • 最近はデータフロー Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2

目次 • • • • Spring Cloud Data Flow とは 開発された動機 ステート管理 まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3

目次 • • • • Spring Cloud Data Flow とは 開発された動機 ステート管理 まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 4

Spring Cloud Data Flow とは • ストリーム処理とバッチ処理に関する Springアプリケーションの統合デプロイメント Spring Cloud Data Flow deploy Streaming Spring Cloud Stream Spring Cloud Task use use Spring Integration Batch Spring Boot Spring Batch Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 5

Spring Cloud Data Flow とは • データフローの作成 - Web UI - UNIXプログラミング風のDSL（シェル） http --port=12345 | filter | hdfs Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6

Spring Cloud Data Flow とは • データフローの作成 - Web UI - UNIXプログラミング風のDSL（シェル） http --port=12345 | filter | hdfs 各プロセスはSpring Bootアプリケーションとして起動 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7

Spring Cloud Data Flow とは • デプロイメント さまざまなモダンなプラットフォームに対する SPI実装が用意されている - Cloud Foundry Kubernetes YARN Mesos local（開発用） Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8

Spring Cloud Data Flow とは Web UI Shell REST-API RDBMS SCDF Server Data Source Deployer SPI deploy Data Source Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9

目次 • • • • Spring Cloud Data Flow とは 開発された動機 ステート管理 まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 10

開発された動機 Spring XD XD Admin XD Container M M Spring Cloud Data Flow SCDF Server ZooKeeper REST-API Deployer SPI XD Container M M • Spring Cloud Data Flowの前身 • 普通のサーバー上で動く • モノリシックな設計 • • • • Spring XDの課題を踏まえて再設計 マイクロサービスの思想 コンテナプラットフォームに最適化 2016年7月に1.0 GAがリリース Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 11

目次 • • • • Spring Cloud Data Flow とは 開発された動機 ステート管理 まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 12

ステート管理 • The Twelve-Factor App – Herokuの中の人たちが作成 – クラウドネイティブなアプリケーションを 作るのに必要な規則・指針 VI. プロセス アプリケーションを1つもしくは複数の ステートレスなプロセスとして実行する Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 13

ステート管理 • Spring Cloud Data Flowが生成するSpring Bootは ステートレスなアプリケーション REST-API RDBMS SCDF Server Deployer SPI deploy Stateless Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 14

ステート管理 • ステートが発生する部分はコンテナプラットフォームの 外で管理する データフローの解析 REST-API RDBMS SCDF Server Deployer SPI deploy Stateless データフローの定義など Stateful Spring Boot間のメッセージング Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 15

目次 • • • • Spring Cloud Data Flow とは 開発された動機 ステート管理 まとめ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 16

まとめ • Spring Cloud Data Flow とは ストリーム処理とバッチ処理の統合デプロイメント • マイクロサービスの思想でSpring XDを再設計 クラウドネイティブなプラットフォームに最適化されている • コンテナプラットフォームの中では ステートレスなアプリケーションが稼働している ステートが発生する部分は外で管理する Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 17