Hadoop-PDL 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Hadoop-PDL 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Hadoop-PDL 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Hadoop-PDL 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Hadoop-PDL 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 国产
投 递 者 osc_87402377
适用人群 未知
收录时间 2021-09-09

软件简介

该项目提出了一种有效的基于组合设计工具 PBD (Pairwise Block Design) 的数据布局 PDL,以加快混合 EC 分布式存储系统中单节点故障的数据修复。

由于减少了机架间的通信量,并在修复过程中实现了读写 I/O 的负载平衡,因此它实现了几乎均匀的数据分布以及更高的修复性能。我们设计了数据的放置策略以及相应的故障恢复方案,并且在 Hadoop 3.1.1 中实现了它们。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
暂无内容
2017/12/18 16:45

vmware的APD和PDL详细解析

APD和PDL的情形在虚拟化运维中,是相对来说比较棘手的问题,需要谨慎处理。 全部路径异常 (APD): • 数据存储在“存储”视图中显示为不可用。 • 存储适配器指示设备的“操作状态”为“不活动或出错” 永久设备丢失 (PDL) • 数据存储在“存储”视图中显示为不可用 • 存储适配器指示设备的“操作状态”为“通信中断” APD解析: 在 vSphere 4.x 中,如果设备的所有路径都出现故障,则将发生全部路径异常 (APD) 状况。 由于没有...

0
0
发表了博客
2015/06/11 10:37

Hadoop(Hadoop优化)

Hadoop(Cloudera manager) Map/Reduce (Hadoop优化) yarn.nodemanager.resource.memory-mb 100G yarn.scheduler.minimum-allocation-mb 9G yarn.scheduler.maximum-allocation-mb 100G mapreduce.map.memory.mb 9G mapreduce.reduce.memory.mb 18G mapreduce.task.timeout 60分钟 mapreduce.map.java.opts.max.heap 7G mapreduce.reduce.java.opts.max.heap 14G <?xml version="1.0"?> <configuration> <property> <name>yar...

0
1
发表了博客
2019/03/29 10:39

Hadoop记录-Hadoop jmx

https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting curl http://10.116.100.2:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020 认识JMX 类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet 只提供web页面来访问JMX 例如:启动了hadoop集群(master slave1 slave2) 通过端口50070访问:master:50070查看namenode节点 若查看namenode的监控信息,可直接访问:mas...

0
0
发表了博客
2019/07/12 18:06

Hadoop hadoop balancer配置

hadoop版本:2.9.2 1、带宽的设置参数: dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小:dfs.datanode.max.transfer.threads 默认值4096 3、修改dfs.datanode.balance.max.concurrent.moves ,指定DataNode上同时用于balance待移动block的最大线程个数,这个值默认是50 如果dfs.datanode.balance.max.concurrent.moves 这个值设置不合理,balancer里面会报IO错误:(我这里设置的有点高...

0
0
2019/09/15 09:43

Hadoop已死,Hadoop万岁

云,在地平线之内 最近又有很多关于“Hadoop已死”的论调,似乎每隔一段时间就会有一些类似的文章或声音。几年前Cloudera就已经停止了以Hadoop来营销自己,而是一家企业数据公司。如今,Cloudera也已进入企业数据云市场:混合/多云和多功能分析,具有通用的安全和治理,所有这些都由开源提供支持。 话虽如此,但要挑战如潮水般“Hadoop已死”的负面消息,还是有难度的。我的看法是Hadoop代表的是数据领域的开源社区,这个社区本...

0
0
发表于云计算专区
2015/04/02 12:46

Hadoop 之初识Hadoop

Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统(GFS)。GFS也就是google File System,google公司为了存储海量搜索数据而设计的专用文件系统。 2004年Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。 2004年Google又发表了一...

0
19
发表了博客
2019/07/25 15:05

PDL格式解决方案Aspose.Page重磅上新!两大文档格式功能助力文档管理!

近期,Aspose发布了一款新产品Aspose.Page——XPS,PS和EPS文件格式解决方案,用于创建和操作XPS文档,以及将XPS和PostScript格式转换为PDF和光栅图像。下面我们一起来看一下它的全新功能。>>点击免费下载体验Aspose.Page全功能 主要功能 创建,编辑和保存XPS文档 将XPS文档转换为PDF和图像 将PostScript(PS)和封装的PostScript(EPS)文件转换为PDF和图像 XPS功能 创建和编辑XPS文档 添加或删除XPS文档的页面 使用画布,路径...

0
0
发表了博客
2019/01/28 15:30

Hadoop开发 Hadoop视频教程 段海涛老师Hadoop完全攻克Hadoop视频教程 Hadoop开发

最新在学习hadoop 、storm大数据相关技术,发现网上hadoop 、storm 相关学习视频少之又少,更可恶的是不少机构使用段海涛老师Hadoop视频进行商业买卖,气愤至急,我这里整理了传智播客段海涛老师的hadoop学习视频,分享出来给大家学习交流。 ps:传智播客是个不错的学习地方,段海涛老师视频中的表达也很有趣,中间还有内涵段子哈哈,希望大家多支持传智播客;此次分享只是供喜欢技术钻研新技术的同学学习交流,全新hadoop培训大...

0
0
发表了博客
2019/02/18 13:38

Hadoop

Hadoop集群 主节点:dd 从节点:dd1 dd2 添加节点:dd3 -------------------------------------------------------------------------------- 快速安装 #无密互通 ssh-keygen ssh-copy-id -i dd for ((x=0;x<=3;x++));do scp -r .ssh dd$x:~ ; done for ((x=0;x<=3;x++));do scp /etc/hosts dd$x:/etc/ ; done source /etc/profile #dd dd1 dd2 dd3 tar -C /home mv /home/hadoop-2.9.2/ /home/hadoop mkdir /home/hadoop/tmp ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
3 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部