纯 Java 的可视化分布式计算平台 SimpleDistributedPlatform

Apache
Java 查看源码»
跨平台
2017-07-18
lnwazg

一个简单却实用的分布式计算平台,通过提交任务 jar 包来执行分布式任务。

NameNode 和 DataNode 这两个名字是直接引用的 Hadoop 里面的概念,但是更加简化:

  • NameNode:用于分发可执行 jar 包,收集中间计算结果,合并汇总最终计算结果。

  • DataNode:用于接收可执行 jar 包,执行指定的任务方法,上报计算(中间)结果。

  • MyZooKeeper:用于注册与查找 MQ 服务。

  • NameNode 和 DataNode 通过 MQ 进行异步通信。

运行原理:

DataNode 上线时,向 MQ 发送一条 DataNode 上线的消息,NameNode 监听该消息,并在 NameNode 本地维护一个 List<DataNode> 的列表。 当 NameNode 下发可执行 jar 包时,NameNode 依次向本地的 List<DataNode> 每条记录发送一条可执行任务的消息,消息内包含 jar 包的url地址。每个 DataNode 收到消息后执行可执行 jar 包的指定方法,并上报中间数据。当每个 DataNode 执行完毕后,要执行一个 end() 方法,代表该 DataNode 已经执行完毕了。当 Namenode 收到了所有的 DataNode 的自己执行完毕的消息后,开始对所有的中间结果计算合并,最终算出汇总的值。

加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Hadoop: Setting up a Single Node Cluster

Hadoop: Setting up a Single Node Cluster

2016/05/23 23:26
12
2
排名前50的开源爬虫

Top 50 open source web crawlers for data mining

2016/06/30 13:20
150
0
一些 NuGet 包

Some RestSharp Simple REST and HTTP API Client Newtonsoft.Json Json.NET is a popular high-performance JSON framework for .NET Tips:.NET 4.0项目请使用 Install-Package Newtonsoft...

09/30 10:50
21
0
hadoop related projects

1. ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization(分布式同步), and providing group services. All of...

2013/01/11 23:10
31
0
Scalability lessons from Google, YouTube, Twitter, Amazon, eBay, Facebook and Instagram

I've gathered together in one place a few lessons in scalability from seven of the most highly trafficked websites around. I've grabbed this primarily from various articles on t...

2015/12/23 13:26
2
0
More On REST

Jon Flanders Contents Which is better, REST or SOAP? What about security? Isn't SOAP more secure than REST? What about transactions? What about interoperability? Isn't SOAP supp...

2011/04/28 23:47
84
0
solr与ES 比较 Realtime Search: Solr vs Elasticsearch

solr与ES 比较 Realtime Search: Solr vs Elasticsearch

2015/11/23 11:36
1K
0
Google三大论文下载地址

1、MapReduce http://research.google.com/archive/mapreduce.html MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat Abstract MapReduce is a ...

2013/09/10 18:51
271
0
The Future of Compass & ElasticSearch

The Future of Compass & ElasticSearch

2015/04/08 06:04
198
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部