StreamX 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
StreamX 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
StreamX 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
操作系统 跨平台
软件类型 开源软件
所属分类 其他
开源组织
地区 国产
投 递 者 benjobs
适用人群 未知
收录时间 2021-04-13

软件简介

StreamX 是一个 Apache Flink 极速开发框架。项目的初衷是 —— 让 Flink 开发更简单。

StreamX 定位是 Flink|Spark 开发脚手架 + 流批一体大数据平台,项目本身采用 java、scala开发。前端使用 vuejs、antd design vue,使用 StreamX 开发,可以极大降低学习成本和开发门槛,让开发者只用关心最核心的业务。

StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程,提供scala和java两套api,其最终目的是打造一个一站式大数据平台,流批一体的解决方案。

Features

  • 开发脚手架
  • 多版本Flink支持(1.11,x, 1.12.x, 1.13 )
  • 一系列开箱即用的connectors
  • 支持项目编译功能(maven 编译)
  • 在线参数配置
  • 支持Applicaion 模式, Yarn-Per-Job模式启动
  • 快捷的日常操作(任务启动停止savepoint,从savepoint恢复)
  • 支持火焰图
  • 支持notebook(在线任务开发)
  • 项目配置和依赖版本化管理
  • 支持任务备份、回滚(配置回滚)
  • 在线管理依赖(maven pom)和自定义jar
  • 自定义udf、连接器等支持
  • Flink SQL WebIDE
  • 支持catalog、hive
  • 任务运行失败发送告警邮件
  • 支持任务失败重启重试
  • 从任务开发阶段到部署管理全链路支持
  • ...

项目架构如下:

组成部分

Streamx 有三部分组成,分别是streamx-core、streamx-pump 和 streamx-console

streamx-core

streamx-core 定位是一个开发时框架,关注编码开发,规范了配置文件,按照约定优于配置的方式进行开发,提供了一个开发时 RunTime Content和一系列开箱即用的Connector,扩展了DataStream相关的方法,融合了DataStream和Flink sql api,简化繁琐的操作,聚焦业务本身,提高开发效率和开发体验

streamx-pump

pump 是抽水机,水泵的意思,streamx-pump的定位是一个数据抽取的组件,类似于flinkx,基于streamx-core中提供的各种connector开发,目的是打造一个方便快捷,开箱即用的大数据实时数据抽取和迁移组件,并且集成到streamx-console中,解决实时数据源获取问题,目前在规划中

streamx-console

streamx-console 是一个综合实时数据平台,低代码(Low Code)平台,可以较好的管理Flink任务,集成了项目编译、发布、参数配置、启动、savepoint,火焰图(flame graph),Flink SQL, 监控等诸多功能于一体,大大简化了Flink任务的日常操作和维护,融合了诸多最佳实践。旧时王谢堂前燕,飞入寻常百姓家,让大公司有能力研发使用的项目,现在人人可以使用, 其最终目标是打造成一个实时数仓,流批一体的一站式大数据解决方案

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
发表了资讯
05/07 12:05

StreamX 1.2.3 发布,唯快不破,支持 Flink 1.15

Gitee: https://gitee.com/streamxhub/streamx Github: https://github.com/streamxhub/streamx StreamX 让流处理更简单,Flink & Spark 极速开发框架,流批一体一站式大数据平台。今天迎来了 1.2.3 Release 版本的正式发布!本次增加了诸多新特性,修复了一些 bug ,对 StreamX 的易用性、稳定性等方面进行了加强,欢迎大家下载使用! 1.重要更新 在 1.2.3 版本中,StreamX 支持了 最新的 Apache Flink 1.15.0 ,在使用上还是一...

0
14
发表了资讯
03/25 09:00

StreamX 1.2.2 正式发布, 迄今最稳定可用版本重磅发布!

今天 , StreamX 很高兴的宣布 1.2.2 版本正式发布。本次是 2022 开年之初发布的第一个正式版本, 修复已知历史 bug, 支持 Flink 所有部署模式,提升易用性和稳定性。2022 新年伊始, 春日正盛, 一片欣欣向荣之景象! 众多企业也在摩拳擦掌, 规划蓝图, 准备大干一场! 此时 StreamX 带来 稳定版本, 助力大家放心的上生产环境, 愿为大家在流处理领域带来一点方便, 为 Apache Flink 的落地和普及助一臂之力! 项目地址: Gitee: https://...

2
18
发表了资讯
01/26 15:21

StreamX v1.2.1 发布,Flink 开发脚手架、流批一体平台

再过几日就是中国传统的农历新年,提前祝大家新年快乐。经过贡献者们的不懈努力,终于在春节来临之际,迎来了 StreamX 1.2.1 的正式发布,欢迎大家下载使用。 Gitee: https://gitee.com/streamxhub/streamx Github: https://github.com/streamxhub/streamx StreamX 让流处理更简单,Flink & Spark 极速开发框架,流批一体一站式大数据平台。继上个版本支持 k8s 之后,本次重点功能是 Flink 任务构建 / 运行分离 和 本地上传Jar...

1
12
发表了资讯
2021/11/17 14:57

StreamX v1.2.0 发布,Flink 开发脚手架、流批一体平台

Make Flink|Spark easier!!! 各位关注和使用 StreamX 的小伙伴们: 好消息!经过贡献者们的不懈努力,现在我们终于可以很高兴地宣布: StreamX 1.2.0 正式发布,欢迎大家下载使用。 StreamX 是Flink & Spark极速开发脚手架,流批一体一站式大数据平台。 自2021年3月开源以来,贡献者已累计发展到10多位。距离上次发布版本已过去4个多月, 在这4个多月的时间里,贡献者们付出了艰辛的努力,在这个版本中进行了多项关键更新和优化,...

1
23
发表了资讯
2021/07/14 09:25

StreamX v1.1.1 发布,Flink 开发脚手架、流批一体平台

Make Flink|Spark easier!!! 大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamX, 项目的初衷是 —— 让 ...

3
24
发表了资讯
2021/06/28 09:04

StreamX v1.1.0 发布,Flink 开发脚手架、流批一体平台

Make Flink|Spark easier!!! 大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamX, 项目的初衷是 —— 让 ...

4
36
发表于AI & 大数据专区
2021/05/24 09:52

StreamX v1.0.0 发布,Flink 开发脚手架、流批一体平台

Make Flink|Spark easier!!! 大数据技术如今发展的如火如荼,已呈现百花齐放欣欣向荣的景象,实时处理流域 Apache Spark 和 Apache Flink 更是一个伟大的进步,尤其是Apache Flink被普遍认为是下一代大数据流计算引擎, 我们在使用 Flink 时发现从编程模型, 启动配置到运维管理都有很多可以抽象共用的地方, 我们将一些好的经验固化下来并结合业内的最佳实践, 通过不断努力终于诞生了今天的框架 —— StreamX, 项目的初衷是 —— 让 ...

1
36
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
0 评论
48 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部