异步批量调度框架 openhandx batch

GPL
Java
跨平台
2018-04-17
彭明华1976

分布式批量架构是解决复杂业务处理、数据分析、科学计算等耗时工作任务,这些任务被安排在特定的服务器上执行,被统一规划、拆分成子任务、统一调度、并发执行,大大提高了执行效率和可靠性,另外异步批量架构可以部署在网络内的任意服务器或PC上形成企业的云计算。

基本原理:举例说明异步批量的最基本原理,实际应用要比这复杂得多。比如:某企业要生成年终表报,并且年终报表要按照企业的各个部门、分公司出,报表的数据来源有企业的财务系统、ERP系统、CRM系统。
技术分析:

  • 1、生成报表首先要把数据从各个系统中数据抽取、加工、汇总,最终生成报表,每步操作都要按照各个部门、分公司分类。

  • 2、总公司报表要等到各个部门和分公司加工、汇总的数据出来后再汇总,最后生成总公司报表。

  • 3、各个部门和分公司的数据抽取、加工、汇总可以是并行处理的,各个部门和分公司的报表生成可以和总公司的数据汇总并行处理。

批量执行步骤:

  • 1、首先由客户端或应用系统发起一个年终报表的事件

  • 2、总控服务器收到事件后,根据当前的事件类型,找到预先配置年终报表的节点运行图(比如节点运行图中有财务系统数据抽取节点、ERP数据抽取节点、数据加工节点、数据汇总节点、部门公司报表生成节点、总公司数据汇总节点、总公司报表生成节点)

  • 3、总控服务器根据节点运行图按照节点的先后顺序及依赖关系,成分成许多任务(如:A部门的财务系统数据抽取任务、B部门的财务系统数据抽取任务、C部门的财务系统数据抽取任务、A部门的ERP数据抽取任务、B部门的ERP数据抽取任务、C部门的ERP数据抽取任务...),并将这些任务发送到任务服务器去并发执行

  • 4、任务服务器收到任务并执行任务,如:A部门的ERP数据抽取任务、B部门的财务系统数据抽取任务

  • 5、任务服务器执行完任务后将任务信息反馈到总控服务器

  • 6、总控服务器接收到任务反馈信息后,判断当前一批节点的任务否运行全部完成,如果完成则创建下一批任务(如:A部门数据加工节点任务、B部门数据加工节点任务、B部门数据加工节点任务),重复第3部直到所有节点的任务完成(最终生成所有报表)。

3. 总体逻辑结构

  • 1、事件由应用系统或事件中心创建,通过事件通讯服务器到达已部署的总控服务器

  • 2、总控服务器将事件按照预先定义好的节点图拆分、解析成任务,按照合适的条件再发送到任务通讯服务器,并记录日志

  • 3、任务服务器根据自身的资源情况从任务通讯服务器接受相应的任务去执行,实现了负载均衡

  • 4、任务执行完成后将记录日志,并将完成后的任务信息发送回任务通讯服务器

  • 5、总控服务器再从任务通讯服务器取回任务信息,判断节点和事件的完成情况,如果未完成继续后续节点的拆分和任务的发送,如果全部节点的任务完成则该事件完成

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

springBatch的一次实战案例

<bean id="initGoldBeanCustRepeatCheckDataTasklet" class="com.heng.group.biz.job.globalcustomer.check.InitGoldBeanCustRepeatCheckDataTasklet"/> <bean id="pendingCheckRepeatDataRe...

2013/08/05 23:27
1K
0
[Modules]Batch Set Products - 批量选择产品进行移动|复制|删除目...

HI PrestaShop Modules>Quick / Mass Edit-Batch Set Products PrestaShop Modules>Quick / Mass Edit - Batch Set Products-1 PrestaShop Modules>Quick / Mass Edit - Batch Set Products-...

2012/06/07 13:24
125
0
[Modules]Batch Add Products Attributes - 批量增加产品属性

Hi All, We also developed a new prestashop modules: PrestaShop Modules>Quick / Mass Edit-Batch Add Products Attributes Modules-Batch Add Products Attributes-1 Modules-Batch Add ...

2012/06/07 13:22
190
0
深度有趣 | 26 Seq2Seq机器翻译

简介 介绍如何使用Sequence to Sequence Learning(Seq2Seq)实现神经机器翻译(Neural Machine Translation,NMT) 原理 之前我们通过序列标注模型实现了中文分词,序列标注属于Seq2Seq的一...

2018/09/21 20:23
48
0
Windows Batchfile Directory

System read-only variable %CD% keeps the path of the caller of the batch, not the batch file location. You can get the pathname of the batch script itself with %0, parameter ext...

2014/04/30 10:19
35
0
Storm Transaction 原理+实战

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you...

2016/04/02 12:06
45
1
Spring batch 代理item reader实现及线程安全的Item reader

1.在spring原有的item reader基础上扩展功能时,需要自定义代理reader public class CustomCompositeItemWriter<T> implements ItemReader<T>{ private final ItemReader delegate; public ...

2016/10/13 18:42
339
0
batch_size对深度学习的影响

谈谈深度学习中的 Batch_Size Batch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开。 首先,为什么需要有 Batch_Size 这个参数? Batch 的选择,首先决定的是下降的方...

2016/11/09 19:00
73
0
六、Storm的高级原语之Transactional Topology

1、什么是Transactional Topology? ○ 是一个每个tuple仅被处理一次的框架 ○ 由Storm0.7引入,于Storm0.9被弃用,被triden取而代之 ○ 底层依靠spout\bolt\topology\stream抽象的一个特性 ...

2015/06/24 17:29
361
0
Storm入门 第五章 一致性事务

Storm 一致性事务

2014/12/03 11:14
80
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部