分布式处理系统 Apache Giraph

分布式处理系统 Apache Giraph

Apache
Java
跨平台
Apache
2013-05-08
红薯

Apache Giraph 是一个可伸缩的分布式迭代图处理系统,灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel. Giraph 区别于其他项目的是开源、基于 Hadoop 的架构等。

加载中

评论(0)

暂无评论

暂无资讯

1
回答
Giraph作业控制及其容错的问题

@run6.13 你好,想跟你请教个问题:我现在做一个类似Giraph的作业控制中心,我下载了它的源码但是不知从哪里看起,我做的作业控制中心也是能够建立在...

2013/07/05 17:11

没有更多内容

加载失败,请刷新页面

没有更多内容

Giraph源码分析(一)— 启动ZooKeeper服务

作者 | 白松 【注:本文为原创,引用转载需与博主联系。】 Giraph介绍: Apache Giraph is an iterative graph processing system built for high scalability. For example, it is current...

07/22 19:47
1
0
Giraph源码分析(七)—— 添加消息统计功能

作者|白松 1、 添加类,把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类,来统计消息量。 源代码如下: package org.apache.girap...

前天 16:56
0
0
Giraph通信模块分析

1 Giraph通信模块 1.1 模块描述 Hama是遵循BSP模型实现,有着独立的作业分配与任务调度系统, 与Hama不同,Giraph将MapReduce中的Map进行封装,一次作业,即相当于一次bsp作业,实际上相当于...

2012/12/11 20:03
1K
0
Giraph源码分析(八)—— 统计每个SuperStep中参与计算的顶点数目

作者|白松 目的:科研中,需要分析在每次迭代过程中参与计算的顶点数目,来进一步优化系统。比如,在SSSP的compute()方法最后一行,都会把当前顶点voteToHalt,即变为InActive状态。所以每次...

昨天 11:03
6
0
Giraph源码分析(四)—— Master 如何检查Worker启动成功

#### 本文的目的 说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步(不太确定)。 #### 环境 在单机上(机器名:giraphx)启动了2个workers。 Giraph遵从单Master多Workers结构,B...

07/26 10:40
1
0
云计算新生代迭代框架一览表

除了计算框架还包括存储框架,详情如下: Apache Tez 资源: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/bk_installing_manually_book/content/rpm-chap-tez.html http://h...

2013/11/21 16:39
106
0
Giraph源码分析(六)——Edge 分析

1.在Vertex类中,顶点的存储方式采用邻接表形式。每个顶点有 VertexId、VertexValue、OutgoingEdges和Halt,boolean型的halt变量用于记录顶点的状态,false时表示active,true表示inactive状...

08/12 16:00
0
0
Giraph源码分析(三)—— 消息通信

由前文知道每个BSPServiceWorker有一个WorkerServer对象,WorkerServer对象里面又有ServerData对象,作为数据实。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageSt...

07/25 14:38
3
0
大数据分析系统Hadoop的13个开源工具

hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。   用户可以在不了解分布式底层细节的情况下,轻松地...

2018/06/07 10:37
9
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部