Hadoop

分布式系统基础架构 Hadoop

Apache
Java
跨平台
Apache
2008-09-14

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

下图是Hadoop的体系结构:

的码云指数为
超过 的项目
加载中
此软件有 25 条评论,请先登录后再查看。

Apache Hadoop 3.3.0 发布,首个支持 ARM 的版本

Apache Hadoop 3.3.0 发布了,主要更新内容有: 支持 ARM:这是第一个支持 ARM 架构的版本 从 2.5.0 升级 protobuf:随着 protobuf-2.5.0 结束生命周期,Protobuf 升级到 3.7.1 S3A 增强功能...

07/31 07:53

Apache Hadoop 3.2.0 发布,3.x 系列最大版本

Apache Hadoop 3.2.0 发布了,这是 Hadoop 3.x 系列中最大的一个版本,带来了许多新功能和 1000 多个更改,通过 Hadoop 3.0.0 的云连接器的增强功能进一步丰富了平台,并服务于深度学习用例和...

2019/01/30 07:53

Hadoop 巨头完成合并,成为全球第二大开源软件公司

去年 10 月份,大数据领域 Hadoop 巨头 Cloudera 与 Hortonworks 宣布合并,给业界带来不小震动。 两家公司希望通过合并,创造出一个年收入达到 7.2 亿美元的新实体,并制定清晰的行业标准,...

2019/01/12 08:04

2018 年的 Apache 社区不平凡:让数字来说话

对于整个Apache社区来说,2018年是不平凡的一年。Apache软件基金会共管理着近2亿行代码,我们持续不断地取得成功,这归功于社区主导的开发模式:“Apache之道”(The Apache Way),300多个A...

2019/01/04 08:09

Hadoop 之父:开发者应将开源纳入职业规划

据福布斯报道,Hadoop 之父 Doug Cutting 在近日的 Oracle Code One 大会(原 JavaOne ) 上,获得了“开拓者奖”(Groundbreaker Award)。Doug Cutting 是 Hadoop 的创始人之一,Cloudera ...

2018/12/11 08:08

Google 收购 Cask 以强化云端 Hadoop 的应用生态

Cask 的主要产品 CDAP 是一个开源的应用平台,它整合了 Hadoop 生态,提供数据以及应用的抽象层,使得开发者能以快速且简单的方式开发应用。 Cask 创始人 Jonathan Gray 和 Nitin Motgi 在官...

2018/05/19 08:01

Apache Hadoop 3.1.0 发布,原生支持 GPU 和 FPGA

Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在...

2018/04/13 10:51

Apache Hadoop 3.0.1 发布,bug 修复和性能增强

Apache Hadoop 3.0.1 版本正式发布,属于 3.0 版本线,包含了 42 处 bug 修复和性能加强。 请注意:NameNode 的默认 RPC 端口改回了 8020(在 3.0.0 版本中为 9820) HADOOP-15027 AliyunOSS...

2018/03/26 18:49

Adobe 将 Hadoop 连接器添加到 Adobe Campaign

Adobe 正在添加一个 Hadoop 连接器,该连接器将向 Adobe Campaign(该公司体验云的一部分)所能分析的内容添加更多数据。 Adobe 高级产品营销总监 Bruce Swann 表示,通过 Apache Hive 增加 ...

2018/01/18 08:11

几个关键数据,带你快速回顾 Apache 的 2017

对于 Apache 社区来说,2017 是令人兴奋和富有成效的一年。Apache 官博发表了一篇名为“Apache in 2017”的文章,回顾了其 2017 年的一些关键数字和实现的成就: Apache 项目 — 总项目数+子...

2018/01/01 08:17

没有更多内容

加载失败,请刷新页面

3
回答
hadoop2.5编译出现The requested profile "native" could not be activated because it does not exist?怎么解决

Downloading: http://maven.oschina.net/content/groups/public/org/mockito/mocki...

2015/02/15 00:22
6
回答
hadoop集群配置了kerberos后,如何使用JAVA程序调用?

hadoop集群配置了kerberos后,如何使用JAVA程序调用? 使用的是Cloudera 的CDH5.3,配置好kerberos后,使用如何JAVA...

2015/05/13 14:46
1
回答
【一周】fastjson安全公告 | Linus电脑配置 | Debian 10管理员手册 | TIOBE 榜单

回顾一周社区热门资讯 第【七十六】期:20200530-20200605 点击相应标题,跳转阅读全文 Ubuntu on WSL 2 GA iPhone ...

06/07 20:35
1
回答
1
回答
arm64 cpu架构机器上安装了hadoop、hbase,编写的程序无法运行,求大神指教

报错说找不到Bytes$LexicographicalComparerHolder$UnsafeCompare,但是这个类没有问题,程序在我的window...

2019/07/18 15:09
1
回答
Can't get Master Kerberos principal for use as renewer     a

n" java.io.IOException:Can't get Master Kerberos principal for use as renewer...

03/06 14:13
5
回答
想用eclipse实现对mongodb数据库的增删等操作,卡在jar加载,java mongodbdriver只有tar.gz后缀的能下载到,下了以后解压里面的文件找不到可以加载进java project的jar文件

想用eclipse建立java project实现对mongodb数据库的增删等操作,卡在jar加载这里了,到官网一直下载不到,最后在maven.org这...

04/22 21:59
2
回答
hive任务转为mapreduce任务后,运行失败了,mr自动kill掉了

配置:centos7.3 ,1核8G内存,hadoop版本2.7.3,hive版本0.12 -----------------------------分割...

2018/09/03 16:48
1
回答
请问spark最新的2.4.5版本底层还需要依赖hive做数仓吗,可否只部署spark而抛弃hive

我今天翻阅spark文档,发现文档只提到了可以用hive做数据源,但没说一定得安装hive,由于最近在探索利用大数据做报表,所以想问下spark能不能直接...

没有更多内容

加载失败,请刷新页面

Hadoop(Hadoop优化)

Hadoop(Hadoop优化) 及 配置情况

2015/06/11 10:37
855
0
Hadoop已死,Hadoop万岁

云,在地平线之内 最近又有很多关于“Hadoop已死”的论调,似乎每隔一段时间就会有一些类似的文章或声音。几年前Cloudera就已经停止了以Hadoop来营销自己,而是一家企业数据公司。如今,Clo...

2019/09/15 09:43
29
0
Hadoop 之初识Hadoop

Hadoop 之初识Hadoop

2015/04/02 12:46
736
0
Hadoop记录-Hadoop jmx

https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting curl http://10.116.100.2:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020 认识...

2019/03/29 10:39
57
0
Hadoop hadoop balancer配置

hadoop版本:2.9.2 1、带宽的设置参数: dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小:dfs.datanode.max.transfer.threads 默认值4096 3、修改d...

2019/07/12 18:06
76
0
Hadoop

Hadoop安装 http://hadoop.apache.org/releases.html CentOS 下载 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz 下载后解压 tar zxf hadoop-3.0.0.tar...

2018/01/27 21:47
62
0
Hadoop

Hadoop集群 主节点:dd 从节点:dd1 dd2 添加节点:dd3 -------------------------------------------------------------------------------- 快速安装 #无密互通 ssh-keygen ssh-copy-id -...

2019/02/18 13:38
32
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部