Mrs 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Mrs 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Mrs 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Mrs 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Mrs 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Python
操作系统 跨平台
软件类型 开源软件
开源组织
地区 不详
投 递 者 李三石
适用人群 未知
收录时间 2012-09-22

软件简介

Mrs是 MapReduce编程模型的一个轻量级实现,但同样拥有高性能,可用于并行计算。它专门为计算密集型程序优化,特别是那些拥有迭代的程序。它的目标是可 以简单的安装和使用。Mrs采用 Python 开发,支持Python 2 和 Python 3。并没有依赖其它第三方标准库。

展开阅读全文

评论 (0)

加载中
更多评论
发表了资讯
2012/11/15 00:00

Mrs 0.9.0 发布,MapReduce 编程模型

Mrs 是 MapReduce编程模型的一个轻量级实现,但同样拥有高性能,可用于并行计算。它专门为计算密集型程序优化,特别是那些拥有迭代的程序。它的目标是可 以简单的安装和使用。Mrs采用 Python 开发,支持Python 2 和 Python 3。并没有依赖其它第三方标准库。 从 Mrs 0.9.0 版本开始,授权协议由原来的 GPL 改为 Apache,支持比系统内存更大的数据,完善文档包含一个新的用户指南,支持指定序列化器,新的数据密集型实例,Walk 分...

1
10
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/07/11 15:24

【MapReduce】三、MapReduce运行机制

  通过前面对map端、reduce端以及整个shuffle端工作流程的介绍,我们已经了解了MapReduce的并行运算模型,基本可以使用MapReduce进行编程,那么MapRecude究竟是如何执行的,从map到shuffle,再到reduce的这一套完整的计算过程是如何调度的呢?这就是MapReduce的作业运行机制。   对于一个MapReduce作业,有两种方法来提交使其运行,一个是Job对象的waitForCompletion()方法,用于提交以前没有提交过的作业,并等待它的完成;...

0
0
发表了博客
2014/07/25 16:37

MapReduce

MapReduce and why MapReduce is a programming model for data processing The power of MapReduce lies in its ability to scale to 100s or 1000s of computers, each with several processor cores MapReduce is designed to efficiently process large volumes of data by connecting many commodity computers together to work in parallel A theoretical 1000-CPU machine would cost a very large amount of money, fa...

0
4
发表了博客
2019/06/20 23:17

Mapreduce

1 环境搭建 mapreduce作为分布式计算模块,yarn作为作业调度和资源管理模块,区别在于: mapreduce是一种编程模型,可以理解为一个jar包 yarn相当于启动运行mapreduce作业容器的进程 老版本中的mapreduce和yarn是整合在一起的 mapreduce配置可以在提交作业时指定,而yarn配置必须要在配置文件修改生效。 1.1 配置yarn-env.sh [centos@hadoop01 ~]$ tail -1 /soft/hadoop-2.7.3/etc/hadoop/yarn-env.sh export JAVA_HOME=/soft/...

0
0
发表了博客
2013/07/14 00:17

MapReduce

MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在 分布式系统上。 当前的 软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键...

0
15
发表了博客
2013/08/27 03:45

MapReduce

写在前面的话:看了N多MapReduce方面的理论知识,一直想写写自己对MapReduce的理解。 ##MapReduce 编程模型## ``` map:(K1, V1) -> list(K2, V2) reduce: (k2, list(V2)) -> list(K2, V2) ``` 简而言之就是 ___ 输入-> Mappers -> 中间数据 -> Reducer -> 输出 ___ 这样的一个过程,把输入``(key, value)``经过map和reduce函数转换成另一个或一批``(key, value)``对输出即可。 ###Mapper### Map阶段,MapReduce对任务输入数据分...

0
4
发表了博客
2014/06/05 16:14

MapReduce

MapReduce 是大规模数据(TB 级)计算的利器,Map 和Reduce 是它的主要思想,来源于函数式编程语言 Map 负责将数据打散,Reduce负责对数据进行聚集,用户只需要实现map 和reduce 两个接口,即可完成TB 级数据的计算,常见的应用包括:日志分析和数据挖掘等数据分析应用。另外,还可用于科学数据计算,如圆周率PI 的计算等。

0
0
发表了博客
2014/09/02 16:23

MapReduce

下面这段话是网上其他人用最简短的语言解释MapReduce: We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes. 我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。 Now we get together and add our individual counts. That’s reduce. 现在我们到一起,把所有人的统计数加在一...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
15 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部