StreamX v1.0.0 发布,Flink 开发脚手架、流批一体平台

来源: 投稿
作者: benjobs
2021-05-24

 

Make Flink|Spark easier!!!

 

大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scalajava两套api, 其最终目的是打造一个一站式大数据平台,流批一体的解决方案

重要特性

  1. 开发脚手架
  2. 多版本Flink支持(多版本无缝支持1.11.x,1.12.x,1.13.x)
  3. 一系列开箱即用的connectors
  4. 支持项目编译功能(maven 编译)
  5. 在线参数配置
  6. 支持 `Applicaion` 模式, `Yarn-Per-Job` 模式启动
  7. 快捷的日常操作(任务`启动`、`停止`、`savepoint`,从`savepoint`恢复)
  8. 支持火焰图
  9. 支持 `notebook` (在线任务开发)
  10. 项目配置和依赖版本化管理
  11. 在线管理依赖(maven pom)和自定义jar
  12. Flink SQL WebIDE
  13. 支持 Catalog、Hive
  14. 任务失败告警和重试重启

软件架构

项目地址

官网:http://www.streamxhub.com

Github: streamxhub/streamx: Make Flink|Spark easier!!! (github.com)

Gitee: benjobs/StreamX (gitee.com)

快速上手

快速上手开发 | StreamX (streamxhub.com)

平台快速使用 | StreamX (streamxhub.com)

StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,欢迎大家提交 PR 或 Issue。喜欢可以给个 Star。现已正式发布1.0.0,经历无数汗水,现终于得见天日. 现在她如初生婴儿一般满怀无限憧憬的出现在世人面前,如果眼下还是一团薪薪之火,那大家的热情一定可以让她烈焰燎原起来.请多多关照,多多支持! 非常感谢。

展开阅读全文
37 收藏
分享
加载中
最新评论 (1)
真流批!
2021-05-25 14:20
0
回复
举报
更多评论
1 评论
37 收藏
分享
返回顶部
顶部