Apache Hadoop 2.2.0 稳定版发布

潞邊壹仦貓
 潞邊壹仦貓
发布于 2013年10月16日
收藏 26

Apache Hadoop 2.2.0 稳定版发布了,建议用户升级。该版本更加稳定,同时在 API 和协议上兼容老的版本。

与 Hadoop 1.x 比较,该版本显著的改进包括:

  • YARN - A general purpose resource management system for Hadoop to allow MapReduce and other other data processing frameworks and services
  • High Availability for HDFS
  • HDFS Federation
  • HDFS Snapshots
  • NFSv3 access to data in HDFS
  • Support for running Hadoop on Microsoft Windows
  • Binary Compatibility for MapReduce applications built on hadoop-1.x
  • Substantial amount of integration testing with rest of projects in the ecosystem

升级到 Hadoop 2.2.0 需要注意的有:

  • HDFS - The HDFS community decided to push the symlinks feature out to a future 2.3.0 release and is currently disabled.
  • YARN/MapReduce - Users need to change ShuffleHandler service name from mapreduce.shuffle to mapreduce_shuffle.

更多详细介绍请看  Hadoop 2.2.0 Release Notes

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.oschina.net]
本文标题:Apache Hadoop 2.2.0 稳定版发布
加载中

最新评论(22

ojs
ojs
Support for running hadoop on Microsoft Windows.
coolee
coolee
最关心的问题, 从1.1.x升级方便不?
YARN好像支持MPI?
古城痴人
古城痴人

引用来自“潞邊壹仦貓”的评论

引用来自“古城痴人”的评论

Windows上也能用了呀。

win上确实可以用,需要安装cygwin。

那也不能用在生产环境中呀.
易小云
易小云

引用来自“nubo”的评论

引用来自“长工”的评论

引用来自“nubo”的评论

看了介绍,NameNode能横向扩展多个,不知道能否解决大量小文件的问题。

大量小文件有什么问题呢?

太多block,NameNode会内存溢出啊

其实可以结合一个kv系统和hdfs实现一个分布式小文件系统,使用kv存储文件索引,名称和大小,使用hdfs存储由多个小文件顺序写入的大文件
nubo
nubo

引用来自“长工”的评论

引用来自“nubo”的评论

看了介绍,NameNode能横向扩展多个,不知道能否解决大量小文件的问题。

大量小文件有什么问题呢?

太多block,NameNode会内存溢出啊
赵云30
赵云30

引用来自“nubo”的评论

看了介绍,NameNode能横向扩展多个,不知道能否解决大量小文件的问题。

大量小文件有什么问题呢?
nubo
nubo
看了介绍,NameNode能横向扩展多个,不知道能否解决大量小文件的问题。
裸奔不是醉
裸奔不是醉
鼓掌!
zcfrank1st
zcfrank1st

引用来自“长工”的评论

这东西要怎么用呢?? 有两台权限有限的Linux机器,怎么把这东西用起来????

google一下。先搭集群,给两台机器分角色,谁是master谁是slave,谁是namenode,谁是datanode...建立信任机(ssh),之后配置一下。。。
潞邊壹仦貓
潞邊壹仦貓

引用来自“古城痴人”的评论

Windows上也能用了呀。

win上确实可以用,需要安装cygwin。
返回顶部
顶部