CSharpFlink 分布式实时计算框架,增加 Kafka 数据接口和加载多个计算任务

来源: 投稿
作者: wxzz
2020-11-23

更新内容:

1.可以增加多个计算任务实例(*.dll)
2.增加IChannelMesaageHandler接口,主节点和计算节点可以复用。
3.修复SouceFunction多次启动线程的问题。
4.增加Kafka数据接入的接口,支持Kafka接入数据的实时计算。

注:请到开源网址下载。

系统框架:

系统测试:

     CPU:4核 I5-7400 2.7GHz,内存:16G,随机数据点时间窗口和计算算子,主节点CPU和内存使用情况:15%-35%、1500MB-2048MB, 工作节点CPU和内存使用情况:0.1%-2.5%、18MB-30MB。 本机部署1个主节点,10个计算节点。主节点生成10万个数据点的计算任务,每个数据点1秒钟产生一个新数据,计算时间窗口的最大值、最小值、平均值或和值。 运行效果,如下图:

展开阅读全文
7 收藏
分享
加载中
更多评论
0 评论
7 收藏
分享
返回顶部
顶部