MapReduce
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语言借来的...
授权协议: 未知
加载中
在 Oracle 数据库中实现 MapReduce

在程序员开发并行程序时,Map-Reduce模式正变得流行起来。这些map-reduce程序通常来并行处理大量数据。本文来演示如何在Oracle数据库上,通过使用Parallel Pipelined Table函数及并行操作,来...

发布于 2014/09/13 09:05
MapReduce + Oracle = Tablefunctions

我们在OpenWorld大会做的其中一件事,是漂亮的展示了如何在通用的Oracle数据库之上实现MapReduce系统。这里基于在这个博客上,显示了很好的实施tablefunctions和映射器等. 但后来我们想,为什...

发布于 2014/09/13 09:03
MongoDB Map-reduce 如何避免全局锁

在MongoDB中驱动分析的两个重要特性是: 聚合 Map-Reduce 一般来说大多数的聚合架构并不需要任何全局写锁,但是当把reducer(规约)结果写到现存的或新的结果集时,Map-Reduce则需要全局写锁。...

发布于 2014/04/06 19:43
如何将 MongoDB MapReduce 速度提升 20 倍

分析在MongoDB中正成为越来越重要的话题,因为它在越来越多的大型项目中使用。人们厌倦了使用不同的软件来做分析(包括Hadoop),它们显然需要传输大量开销的数据。 MongoDB提供了两种内置分...

发布于 2013/10/30 08:15
在 Hadoop 上编写 MapReduce 程序 —— 上下文

Map Reduce是包含两个过程:Map过程和Reduce过程。每一个过程都包含键值对作为输入,程序员可以选择键和值的类型。 Map和Reduce的数据流是这样的: Input ==> Map ==> Mapper Output ==> So...

发布于 2013/04/27 06:56
用 MapReduce 进行数据密集型文本处理 - 本地聚合之二

本文是 《 Data Intensive Processing with MapReduce 》中的算法实现系列文章的最新一篇。该系列文章的第一篇 在此 。在第一篇里,我们讨论了使用本地聚合技术来减少shuffle阶段的网络传输数...

发布于 2013/01/27 23:44
MapReduce 算法 - 反序模式 (Order Inversion)

这一篇其它段落的一系列MapReduce算法在" Data-Intensive Text Processing with MapReduce"这本书上呈现。以前分别是 Local Aggregation , Local Aggregation PartII 和 Creating a Co-Occu...

发布于 2013/01/24 23:27
使用 MapReduce 进行数据密集型文本处理

距离我上次发文,已经有一段时间了。因为我最近忙着 Coursera提供 的一些课程。这些课程里面有些很有趣的东西并值得去研究。前段时间,我买了一本由Jimmy和Chris Dyer编写的书Data-Intensiv...

发布于 2013/01/24 23:21
MapReduce 算法 —— 二级排序

在这篇文章里,我们将继续实现《利用MapReduce玩转数据密集型文本处理》这本书中提到的算法。本系列的其它文章如下: 利用MapReduce实现数据密集型文本处理 利用MapReduce实现数据密集型文本处...

发布于 2013/01/21 17:08
介绍 Apache Hadoop —— HDFS 和 MapReduce

先快速说明一下: Hadoop并不是什么数据库,也不是程序库,甚至不是一个独立产品。实际上,Hadoop是一些独立模块的组合,包括一个分布式文件系统HDFS、一个分布式数据库HBase、一个大型分布式...

发布于 2013/01/21 07:02

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部