发表了资讯
2015/07/30 00:00

什么是 Hadoop 生态系统

https://www.facebook.com/hadoopers 在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示例时,比如 Hortonworks Data Platform, Cloudera Quickstart 等等,里面会包含大量的开源项目。本篇文章主要是对 Hadoop 生态系统有个初步的认识,以下的一些开源项目详情可以查看 hadoop ecosystem table。 Map Re...

10
106
发表了资讯
2015/04/24 00:00

Hadoop 2.7.0 发布,不再支持 JDK 6

Apache Hadoop 2.7.0 发布,包括大量显著改进,值得关注的改进如下: 重大改进 此版本不再支持 JDK 6 运行时,仅支持 JDK 7+ 此版本不适用于生产环境!还有一些重要的问题需要通过测试,用于生产环境的用户请等待 2.7.1/2.7.2 Hadoop Common 支持 Windows Azure 存储 —— Blob Hadoop HDFS 支持文件截断 支持每个存储类型配额 支持可变长度的文件块 Hadoop YARN YARN 认证可插拔 自动分享,全局缓存 YARN 本地化资源(测试阶段...

8
35
发表了资讯
2014/10/28 00:00

为什么如此难用?Hadoop 的 12 个技术痛点

文章作者Andrew C. Oliver是一位专业的软件顾问,同时还是北卡罗来纳州达勒姆大数据咨询公司Open Software Integrators的总裁和创始人。长时间的使用Hadoop,他发现了这12件事情真的影响了Hadoop的易用性。 Hadoop是一个很神奇的创造,但它发展过快而表现出一些瑕疵。我爱大象,大象也爱我。不过这世上没什么是完美的,有的时候,即使是再好的朋友间也会起冲突。就像我和Hadoop之间的存在斗争一样。下面是我列举的12个痛点。 1....

11
71
发表了资讯
2014/08/16 00:00

官方正式发布 Apache Hadoop 2.5.0 版本

尽管下载文件在前几天已经发布,不过官网上今天才发布了 Apache Hadoop 2.5.0 正式版,这是一个小更新版本,包括一些主要新特性和改进以及 Bug 修复,例如扩展文件属性和改进 HDFS 的 Web UI,提升 ATS 安全性,更丰富的 YARN REST API 等。详情请看该版本文档和发行说明。 而下一个小更新版本是 2.6.0 也会包含一些新的特性,如通过密钥管理服务器实现 HDFS 透明的加密,重启所有 YARN 守护进程等,详情请看 Hadoop 路线图。...

2
17
发表了资讯
2014/08/13 00:00

Hadoop 2.5.0 发布

今天突然看到了hadoop2.5.0 出来了,好快呀 ,主页还没有更新,估计是修改了一下bug. 下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/

10
19
发表了资讯
2014/07/31 00:00

数据科学家调查:受挫数据多样性,吐槽 Hadoop

经过无数权威媒体的反复轰炸,我们大致已经相信,数据科学家是21世纪最神秘最性感最多金的职业,他们是大数据时代数据炸弹的拆弹专家,企业数字化经营的发动机,他们的身价堪比NFL四分卫,而且,他们比昆仑山上的雪豹数量还少。 显然,数据科学家个个都是十八般数据分析武艺样样精通的绝世高手,但他们近来也有烦心事。不久前,开源数据库SciDB开发商Paradigm4进行的一项针对111名北美数据科学家的调查显示,71%的数据科学家认为...

22
35
发表了资讯
2014/04/24 00:00

2014年值得关注的十个Hadoop大数据创业公司

开源大数据框架Apache Hadoop已经成了大数据处理的事实标准,同时也几乎成了大数据的代名词,虽然这多少有些以偏概全。 根据Gartner的估计,目前的Hadoop生态系统市场规模在7700万美元左右,2016年,该市场规模将快速增长至8.13亿美元。 但是在Hadoop这个快速扩增的蓝海中游泳并非易事,不仅开发大数据基础设施技术产品这件事很难,销售起来也很难,具体到大数据基础设施工具如 Hadoop、NoSQL数据库和流处理系统则更是难上加难。...

12
105
发表了资讯
2014/02/25 00:00

Apache Hadoop 2.3.0 发布

Apache Hadoop 2.3.0 发布。Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 2014-02-21 这是去年2013-10-16 2.2.0之后的第一个版本。1的产品系列还是1.2.1。新特性包括支持HDFS的混合存储分级,可以集中管理HDFS内存里的缓存数据,通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。(兼容2.2.0) 完全改进及发布...

16
19
发表了资讯
2014/01/29 00:00

前雅虎 CTO 打造 Hadoop 大数据云计算平台

前雅虎首席技术官Raymie Stata去年6月创立公司Altiscale提供“Hadoop即服务”,近日Altiscale宣布面向公众推出大数据云计算平台,类似亚马逊的Elastic Map Reduce,与其产品极为接近的另一家创业公司是Qubole(以云计算的方式提供Facebook开源的Hadoop互动查询架构——Presto)。 Presto开源架构 Altiscale专为运行hadoop任务定制(或者Spark、或者能在YARN上运行的大多数任务),能够根据数据分析任务需要自动调整资源分配和管理...

6
25
发表了资讯
2014/01/17 00:00

Google 打造云中 Hadoop 便捷版 强势对抗 AWS

Google Compute Engine 的虚拟机提供了一种快速、可靠的方式来运行 Apache Hadoop。如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform 上运行Hadoop,这样你就可以更加专注于数据处理逻辑而不是集群管理和文件系统。 下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 在十年前,从Google第一次介绍了Google File System ...

2
6
发表了资讯
2013/10/16 00:00

Apache Hadoop 2.2.0 稳定版发布

Apache Hadoop 2.2.0 稳定版发布了,建议用户升级。该版本更加稳定,同时在 API 和协议上兼容老的版本。 与 Hadoop 1.x 比较,该版本显著的改进包括: YARN - A general purpose resource management system for Hadoop to allow MapReduce and other other data processing frameworks and services High Availability for HDFS HDFS Federation HDFS Snapshots NFSv3 access to data in HDFS Support for running Hadoop on M...

22
26
发表了资讯
2013/10/16 00:00

Zettaset起诉英特尔剽窃其Hadoop大数据软件

Zettaset控诉英特尔的Hadoop发行版是其旗舰产品的翻版 Zettaset近日控告英特尔抄袭其大数据软件,Zettaset在起诉书中指出,英特尔的Hadoop管理软件与Zettaset的旗舰产品Orchestrator极为相似,英特尔不仅严重侵犯Zettaset的知识产权,而是“鸠占鹊巢”,赤裸裸地争抢其客户。 Zettaset在上周四加州圣克拉拉县法庭提交的起诉书中指出: 实际上英特尔的所谓大数据软件就是Zettaset的产品。 据悉,Zettaset对英特尔的指控包括违反合...

17
8
发表了资讯
2013/08/28 00:00

Hadoop 2.1.0 beta 发布,HDFS提供SnapShot模块

Hadoop 2.1.0 Beta 版 HDFS 提供了SnapShot 模块。用于数据备份、回滚,以防止因用户的失误操作导致集群出现问题。本文先做一个简单的介绍,其他的文章在来介绍Snapshot 本身的实现机制。 HDFS Snapshot有以下几个特性: Snapshot 创建的时间 复杂度为O(1),但是不包括INode 的寻找时间 只有当修改SnapShot时,才会有额外的内存占用,内存使用量为O(M),M 为修改的文件或者目录数 在datanode 上面的blocks 不会复制,做Snapshot ...

6
16
发表了资讯
2013/06/14 00:00

前雅虎 CTO 发布 Hadoop 云服务 Altiscale

雅虎前首席技术官Raymie Stata对Hadoop了解颇深,正是他于2006年将Hadoop发明者Doug Cutting招到雅虎。在雅虎担任首席架构师和CTO长达七年的时间中,Stata成功将Hadoop开发成Yahoo的所有web服务的基础,而将 hadoop服务推上云端,则是Stata离职创业的新目标。 最近,Stata创办的Hadoop创业公司Altiscale募 集了1200万美元A轮融资。Stata曾亲手将Hadoop从一个小微项目打造成一个规模可达42000个节点的大型生产系统,而Altiscale...

2
23
发表了资讯
2013/05/16 00:00

Hadoop 目前只是“穷人的 ETL”

虽然企业部署Hadoop大数据系统的最终目的是进行“性感”的分析应用,但是大多数企业距离这一目标还很远很远。 根据IDC发布的Hadoop-MapReduce软件生态系统预测报告,Hadoop 市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实,作为大数据分析应用的代名词,Hadoop的流行其实与数据分析无关。 实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析,而是把Hadoop作为一种廉价的海量存储和ETL(抽...

21
47
发表了资讯
2013/04/08 00:00

保障 Hadoop 数据安全的十大措施

Dataguise最近发布了Hadoop十大数据安全措施,内容涵盖隐私风险、数据管理和信息安全等,可以帮助专业人士降低大数据应用的潜在数据泄漏和政策违规等风险,对于那些考虑部署Hadoop的企业来说非常值得参考。 Dataguise为多家财富200强企业提供Hadoop安全服务,总结出了一套适合大规模多样化环境的大数据安全实践和流程。 大数据分析向来伴随着隐私话题和争议,在大数据分析中的海量数据里,难免会出现姓名、地址和身份号码等个人...

5
47
发表了资讯
2013/03/23 00:00

Continuuity 首席执行官:Hadoop 真特么难用

在本周的大数据研讨会上,Continuuity的首席执行官指出Hadoop实施难度大,极为难用,如果不解决技术复杂性问题,Hadoop将被自己终结。 Continuuity的首席执行官Todd Papaioannou曾经是雅虎的首席云计算架构师,当年他和120个弟兄接到一个艰巨的任务:在拥有40万个节点的雅虎私有云中配置4.5万台 Hadoop服务器,为5000位雅虎开发人员创建一个稳定的开发平台。在Papaioannou的回忆中,当时的场景非常不堪: 负责建设Hadoop平台的团...

9
20
发表了资讯
2013/03/06 00:00

Wandisco推出Non-Stop Namenode 保证 hadoop 100% 运行时间

2013年2月27日,分布式及大数据领导者Wandisco公司推出Wandisco Non-Stop NameNode, 其运用Wandisco专利的Active-Active分布式技术,保证NameNode 100%运行时间,消除了固有的SPOF(Single Point Of Failure),使得Hadoop运行真正做到7x24小时无单点失效风险。

0
1
发表了资讯
2013/02/22 00:00

RedHat 开源其 Hadoop 存储系统

作为大数据+混合云业务战略的一部分,Red Hat没有选择推出自己的hadoop商业版本或者收购一家Hadoop发行厂商,而是推出了首个Hadoop HDFS文件存储系统的开源替代产品。 Red Hat本周三宣布开源其Red Hat Storage Hadoop插件,作为HDFS的替代产品。RedHat Storage hadoop插件基于Gluster文件系统——Red Hat于2011年以1.36亿美元收购了Gluster,目前已经将Gluster的技术整合到了Red hat的存储服务器产品(RHSS)中。Red hat计划在今...

10
45
发表了资讯
2013/02/21 00:00

Wandisco推出Hadoop Console集中管理及部署平台

2013年2月19日,大数据及Hadoop开发者Wandisco公司推出Hadoop Console集中管理及部署平台Wandisco Hadoop Console(WHC),借助WHC,Hadoop用户可以简便快捷地进行Hadoop的部署和管理,而不需要掌握太多Hbase及HDFS的知识。 Wandisco Hadoop Console(WHC)可以支持部署Hadoop到硬件以及虚拟设备上(VMware,Linux), 通过虚拟设备,服务器的利用率大大提高。WHC同时支持Secure Multi-Tenancy安全多重用户,以及LDAP集成。同时还具备特定...

2
14
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页