基于微服务的分布式流处理和批处理数据通道 Spring Cloud Data Flow

基于微服务的分布式流处理和批处理数据通道 Spring Cloud Data Flow

Apache-2.0
Java 查看源码»
跨平台
Pivotal
2018-05-17
局长

Spring Cloud Data Flow 是基于原生云对 Spring XD 的重新设计,该项目目标是简化大数据应用的开发。

Spring Cloud Data Flow 简化了专注于数据流处理的应用程序的开发和部署。它的体系结构包含的主要概念有:应用程序、Data Flow Server 和运行时环境。

Spring Cloud Data Flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。

特点

1.使用 DSL,REST-APIs,Dashboard 和 drag-and-drop gui 开发
2.独立的创建,单元测试,故障排除,和管理微服务程序
3.使用开箱即用的 stream 和 task/batch 应用迅速的构建数据通道
4.把微服务作为 maven 或者 Docker 的构件
5.在不中断数据流的情况下扩展数据通道
6.在现代运行环境平台上编配以数据为中心的应用程序
7.利用度量,健康检查远程管理每一个微服务程序

架构

Spring Cloud Data Flow 简化了应用程序的开发和部署,将精力集中到数据处理的用例上 
主要的架构概念在应用程序、data flow 服务器和目标运行环境上

应用程序有两个特点:

1.周期长的流处理,程序通过消息中间件消费和产生连续不断的数据
2.短周期的任务处理,程序处理有限的数据集合然后中断

取决于运行环境,应用程序可以有两种打包方式

1.Spring Boot 打成 jar 包可以托管在一个 maven 仓库,文件,http 或者是其他 spring 资源实现
2.Docker

运行环境支持:

- Cloud Foundry
- Apache YARN
- Kubernetes
- Apache Mesos
的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

Spring Cloud Data Flow 2.3.0.M1 和 2.2.1 GA 发布

Spring Cloud Data Flow 2.3.0.M1 和 2.2.1 GA 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。 除了错误修复和增强功能外,2.3.0 的第一个里程碑还具有以下新...

09/10 07:24

Spring Cloud Data Flow 2.2.0 发布

Spring Cloud Data Flow 2.2.0 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。 此 GA 版本开发了一些关键功能,主要更新内容如下: 任务应用管理 现在可以使...

08/01 07:23

Spring Cloud Data Flow 2.1.2 GA 和 2.0.3 GA 发布

Spring Cloud Data Flow 2.1.2 GA 和 2.0.3 GA 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。 这是一个次要版本,主要是错误修复和文档增强功能。主要更新内...

06/28 07:08

Spring Cloud Data Flow 2.1.0 M1 发布

Spring Cloud Data Flow 2.1.0 M1 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。 此次更新主要内容有: 使用 SCDF helm chart 时,支持在 RabbitMQ 和 Apac...

04/20 07:15

Spring Cloud Data Flow 2.0.2 GA 发布

Spring Cloud Data Flow 2.0.2 GA 已发布,该版本的更新内容主要是 bug 修复和文档增强。 更新亮点如下: 改进文档 文档更新,以在 Helm Chart 上启用 Kafka 架构图改进 入门指南改进 Spring...

04/11 07:00

Spring Cloud Data Flow 2.0.1 GA 发布

Spring Cloud Data Flow 2.0.1 GA 已发布,该版本的更新内容主要是 bug 修复和文档增强。 更新亮点如下: Skipper 服务器的 Kubernetes 部署配置使用 MySQL 作为默认数据库 删除无关的 Spri...

03/20 06:56

Spring Cloud Data Flow 2.0 发布,多项更新

Spring Cloud Data Flow 2.0 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。 新版主要更新内容有: 流部署始终委托给 Skipper 在所有受支持平台运行的单个服...

03/09 07:16

Spring Cloud Data Flow 1.7 GA 正式发布

Spring Cloud Data Flow 团队很高兴地宣布发布 1.7.0。 按照本地服务器,Cloud Foundry 和 Kubernetes 的入门指南进行操作。 在未来几周内将 Cloud Foundry Tile for SCDF。 值得关注的更新亮...

2018/10/27 07:10

Spring Cloud Data Flow 1.7 RC1 发布

Spring Cloud Data Flow 1.7 RC1 发布了,RC1 版本基于 1.7 M1 中引入的核心功能,并进行了一些改进。Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。 值得关注的亮点...

2018/10/21 08:04

Spring Cloud Data Flow 1.7 M1 发布,新增多项功能

Spring Cloud Data Flow 1.7 M1 发布了,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。 此次更新主要内容有: UI 增强 Stream Application DSL 审计跟踪 Audit trai...

2018/09/19 08:28

没有更多内容

加载失败,请刷新页面

暂无问答

SpringCloud DataFlow 0. 本地部署

SpringCloud DataFlow — 0. 本地部署部署 SpringCloud DataFlow — 1. 自定义Processor SpringCloud DataFlow — 2. 自定义Sink SpringCloud DataFlow — 3. 暴露properties SpringCloud Da...

08/26 14:29
32
0
SpringCloud DataFlow 4. Prometheus + Grafana 监控

SpringCloud DataFlow — 0. 本地部署部署 SpringCloud DataFlow — 1. 自定义Processor SpringCloud DataFlow — 2. 自定义Sink SpringCloud DataFlow — 3. 暴露properties SpringCloud Da...

08/26 14:33
11
0
Spring 相关官网

https://repo.spring.io/release/org/springframework/spring/ https://docs.spring.io/spring/docs/4.3.12.RELEASE/spring-framework-reference/ https://docs.spring.io/spring-boot/docs/...

2017/10/27 17:21
48
0
SpringCloud DataFlow 2. 自定义Sink

SpringCloud DataFlow — 0. 本地部署部署 SpringCloud DataFlow — 1. 自定义Processor SpringCloud DataFlow — 2. 自定义Sink SpringCloud DataFlow — 3. 暴露properties SpringCloud Da...

08/26 14:31
9
0
SpringCloud DataFlow 1. 自定义Processor

SpringCloud DataFlow — 0. 本地部署部署 SpringCloud DataFlow — 1. 自定义Processor SpringCloud DataFlow — 2. 自定义Sink SpringCloud DataFlow — 3. 暴露properties SpringCloud Da...

08/26 14:30
12
0
spring cloud 资料

参考 in28minutes-initiatives, Java,spring 学习资料 Spring Boot and OAuth2 使用Spring Boot构建独立的OAuth服务器 这个系列文章不错,帮助我理解了 spring boot oauth zuul wiki,begin ...

2018/02/03 15:31
191
0
分布式作业 Elastic-Job 快速上手指南,从理论到实战一文搞定!

Elastic-Job支持 JAVA API 和 Spring 配置两种方式配置任务,这里我们使用 JAVA API 的形式来创建一个简单的任务入门,现在都是 Spring Boot 时代了,所以不建议使用 Spring 配置文件的形式。...

2018/05/22 15:32
154
0
知识拆解+经典定时任务案例 精讲Java定时任务框架Elastic-Job和Quartz

掌握分布式集群方式的定时任务框架,可以弥补企业中常用的单点任务的缺点,以更高的性能更好的稳定性处理分布式定时任务服务;本课程带你掌握分布式框架Elastic-Job和Quartz,在以多种方式开...

06/17 19:00
9
0
SpringCloud DataFlow 3. 暴露properties

SpringCloud DataFlow — 0. 本地部署部署 SpringCloud DataFlow — 1. 自定义Processor SpringCloud DataFlow — 2. 自定义Sink SpringCloud DataFlow — 3. 暴露properties SpringCloud Da...

08/26 14:32
7
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部