Hadoop 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Hadoop 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Hadoop 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Hadoop 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Hadoop 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据存储
开源组织 Apache
地区 不详
投 递 者 不详
适用人群 未知
收录时间 2008-09-14

软件简介

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

下图是Hadoop的体系结构:

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (25)

加载中
入坑#Hadoop#
2017/12/28 11:11
回复
举报
Y.S
打分: 力荐
11111
2017/01/03 15:25
回复
举报
号称改变了世界的7个Java项目,JUnitEclipseSpringSolrJenkinsHadoopAndroid
2011/07/10 00:19
回复
举报
入手两本新书《MongoDB权威指南》和《Hadoop权威指南》
2011/09/05 13:37
回复
举报
Hadoop哈哈
2011/11/29 10:25
回复
举报
了解一下 学习 学习 Hadoop
2012/05/23 17:40
回复
举报
有没有一些基于hadoop的开源应用程序啊?求推荐 Hadoop
2012/08/16 18:16
回复
举报
测试.. Hadoop
2012/10/31 18:19
回复
举报
公司居然屏蔽掉了google?! Hadoop
2012/11/14 11:25
回复
举报
想试着接触一下 Hadoop
2013/02/26 10:19
回复
举报
更多评论
发表于软件架构专区
2020/07/31 07:53

Apache Hadoop 3.3.0 发布,首个支持 ARM 的版本

Apache Hadoop 3.3.0 发布了,主要更新内容有: 支持 ARM:这是第一个支持 ARM 架构的版本 从 2.5.0 升级 protobuf:随着 protobuf-2.5.0 结束生命周期,Protobuf 升级到 3.7.1 S3A 增强功能:对 S3A 代码进行了许多增强,包括委托令牌支持、更好的 404 缓存处理、S3guard 性能、弹性增强 ABFS 增强功能:解决问题并调整需要调整的内容,在适当的地方添加更多测试。改进文档,尤其是故障排除 腾讯云 COS 文件系统实现:COSN 文件...

10
2
发表于DevOps专区
2019/01/30 07:53

Apache Hadoop 3.2.0 发布,3.x 系列最大版本

Apache Hadoop 3.2.0 发布了,这是 Hadoop 3.x 系列中最大的一个版本,带来了许多新功能和 1000 多个更改,通过 Hadoop 3.0.0 的云连接器的增强功能进一步丰富了平台,并服务于深度学习用例和长期运行的应用。 亮点包括: ABFS 文件系统连接器:支持最新的 Azure Datalake Gen2 Storage 增强 S3A 连接器:对 AWS S3 和 DynamoDB IO 更好地弹性节流 YARN 中的节点属性支持:有助于根据节点的属性标记节点上的多个标签,并支持根据...

0
6
发表于DevOps专区
2019/01/12 08:04

Hadoop 巨头完成合并,成为全球第二大开源软件公司

去年 10 月份,大数据领域 Hadoop 巨头 Cloudera 与 Hortonworks 宣布合并,给业界带来不小震动。 两家公司希望通过合并,创造出一个年收入达到 7.2 亿美元的新实体,并制定清晰的行业标准,成为下一代数据平台领先者,提供业界第一个企业级数据云,提高公共云的易用性和灵活性。当时预计该交易将在 2019 年第一季度完成。 11 日,Cloudera 官方发文宣布合并正式完成,新公司名采用“Cloudera”。Hortonworks 联合创始人、现 Cl...

11
15
发表于软件架构专区
2019/01/04 08:09

2018 年的 Apache 社区不平凡:让数字来说话

对于整个Apache社区来说,2018年是不平凡的一年。Apache软件基金会共管理着近2亿行代码,我们持续不断地取得成功,这归功于社区主导的开发模式:“Apache之道”(The Apache Way),300多个Apache项目及各个社区通力合作、齐心协力执行这一模式。主要的成绩包括如下: Apache项目:https://projects.apache.org/ 项目和子项目总数:328个(不包括Apache实验室旗下的项目) 顶级项目:198个 Apache孵化器中的新兴项目:51个 其他...

6
8
发表于软件架构专区
2018/12/11 08:08

Hadoop 之父:开发者应将开源纳入职业规划

据福布斯报道,Hadoop 之父 Doug Cutting 在近日的 Oracle Code One 大会(原 JavaOne ) 上,获得了“开拓者奖”(Groundbreaker Award)。Doug Cutting 是 Hadoop 的创始人之一,Cloudera 的首席架构师,同时也是开源运动的传播者,为 Hadoop 和 Lucene 以及许多其他项目做出了贡献。 图片来自福布斯 Doug Cutting 还分享了他对开源的看法,他喜欢开源的原因之一是因为开源软件的寿命很长。他在 2000 年之前写的商业软件,早已...

8
11
发表于运维专区
2018/05/19 08:01

Google 收购 Cask 以强化云端 Hadoop 的应用生态

Cask 的主要产品 CDAP 是一个开源的应用平台,它整合了 Hadoop 生态,提供数据以及应用的抽象层,使得开发者能以快速且简单的方式开发应用。 Cask 创始人 Jonathan Gray 和 Nitin Motgi 在官方博客宣布加入了 Google Cloud 的消息,并表示,即使加入了 Google Cloud,他们仍会继续维护其原来的数据应用程序部署平台(Cask Data Application Platform,CDAP)。CADP 定义并实现了多种 Hadoop 基础架构的整合,支持 HBase、HDFS、Y...

1
2
发表于运维专区
2018/04/13 10:51

Apache Hadoop 3.1.0 发布,原生支持 GPU 和 FPGA

Apache Hadoop 3.1.0 正式发布了,Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在正式环境下使用,请等待 3.1.1 或 3.1.2 版本。 这个版本的 Hadoop 带来了许多重大的变化,如下: YARN 原生支持 GPU(详见 YARN-6223) YARN 原生支持 FPGA(详见 YARN-5983) 支持原生的 YARN 服务(详见 YARN-5079 / YARN-4793 / YA...

6
5
发表于AI & 大数据专区
2018/03/26 18:49

Apache Hadoop 3.0.1 发布,bug 修复和性能增强

Apache Hadoop 3.0.1 版本正式发布,属于 3.0 版本线,包含了 42 处 bug 修复和性能加强。 请注意:NameNode 的默认 RPC 端口改回了 8020(在 3.0.0 版本中为 9820) HADOOP-15027 AliyunOSS: Support multi-thread pre-read to improve sequential read from Hadoop to Aliyun OSS performance: Support multi-thread pre-read in AliyunOSSInputStream to improve the sequential read performance from Hadoop to Aliyun OSS...

1
4
发表于软件架构专区
2018/01/18 08:11

Adobe 将 Hadoop 连接器添加到 Adobe Campaign

Adobe 正在添加一个 Hadoop 连接器,该连接器将向 Adobe Campaign(该公司体验云的一部分)所能分析的内容添加更多数据。 Adobe 高级产品营销总监 Bruce Swann 表示,通过 Apache Hive 增加 Hadoop 将从自主终端,销售点终端和移动设备中引入更多的数据来源,在各个渠道协调营销活动。 Adobe Campaign 已连接到各种交易数据库,Amazon Redshift 和 Greenplum。 目标是将 Hadoop 作为一个选项添加到各种渠道的工作流程中,而无需...

2
2
发表于运维专区
2018/01/01 08:17

几个关键数据,带你快速回顾 Apache 的 2017

对于 Apache 社区来说,2017 是令人兴奋和富有成效的一年。Apache 官博发表了一篇名为“Apache in 2017”的文章,回顾了其 2017 年的一些关键数字和实现的成就: Apache 项目 — 总项目数+子项目 - 318 个 顶级项目 - 193 个 孵化中项目 - 53 个 社区/用户 — ASF 成员 - 683 新入选成员 - 64 Apache Committers - 6504 Apache 代码 — 3050 个提交者更改了 60,276,457 行代码,有超过了 188262 个提交。 Commits Top 5 — Hado...

2
6
发表了资讯
2017/12/15 09:51

Apache Hadoop 3.0.0 GA 正式发布,要求 Java 8

编者注:Hadoop 发布了全新 3.0 版本,关于该版本的主要改进说明,发行说明和改进记录。 今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。下面是关于 Apache Hadoop 3.0.0 GA 的正式介绍。 Java最低版本要求从Java7 更改成Java8 所有的...

18
32
发表了资讯
2017/06/15 13:40

漏洞预警:Hadoop 未授权访问可导致数据泄露

近日,国外媒体报道全球Hadoop服务器因配置不安全导致海量数据泄露,涉及使用Hadoop分布式文件系统(HDFS)的近4500台服务器,数据量高达5120 TB (5.12 PB),经分析,这批数据泄露的近4500台HDFS服务器中以美国和中国为主。 事件原因: 互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响,攻击者针对HDFS的攻击删除了大多数目录,并会添加一个名为“NODATA 4U_SECUREYOURSHIT”的新目录和“PLEASE_README”的目录,...

7
12
发表了资讯
2016/10/05 00:00

大数据领域开源技术,除了 Hadoop 你还知道哪些?

众所周知,大数据正在以惊人的速度增长,几乎触及各行各业,许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据,当然这么做的目的不只是管理和控制数据,而是要分析和挖掘其中的价值,来促进业务的发展。 想要深入发展大数据,闭门造车是不可能的,共通共融是现在趋势,因此,开源让越来越多的项目可以直接采用大数据技术。如今,从小型初创企业到行业巨头,各种规模的供应商都在使用开源来处理大数据和运行预测分析...

5
172
发表了资讯
2016/09/09 00:00

揭秘即将亮相 HadoopCon 2016 的大数据新星

根据IDC研究显示,大数据解决方案将在未来四年中,帮助全球企业分享大约1.6万亿美元新增收入的数据红利。在大数据产业发展中,以Hadoop为代表的开源大数据生态成为大数据和云计算的重要技术支撑,有效推动了开源社区的用户和贡献者,带动了技术进步与商业发展。 开源大数据生态快速发展,Hadoop已经不是一个大数据软件,而成为大数据平台,Hadoop的生态圈日益壮大。其中,Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之...

0
32
发表了资讯
2016/09/09 00:00

Apache Hadoop 3.0.0-alpha1,重写 Shell 脚本

Apache Hadoop 3.0.0-alpha1发布了。 部分更新内容: Hadoop 3.0.0-alpha1在Java 8下编译,使用Java 7以及以下版本需更新到Java 8 重写了shell脚本,支持超过两个NameNode 详情请参照发行说明: Hadoop 3.0.0-alpha1 Release Notes 主页:http://hadoop.apache.org/docs/r3.0.0-alpha1/index.html 下载:http://hadoop.apache.org/releases.html...

5
5
发表了资讯
2015/12/09 00:00

实时股票分析系统的架构与算法

【编者的话】如果能在一台服务器上应用人工智能和机器学习算法处理每天的股票交易,而自己则在夏威夷的海滩上享受生活,那将是多么惬意呀。虽然股票 价格的变化受多种因素的影响,世上也没有免费的午餐,但是有些公司依然能够借助于开源的机器学习算法和数据分析平台得到“更好、更健康、更便宜的午餐”。 本文搜集并整理了一些如何实现实时股票分析系统的资料,从架构和算法两个层面给出了一种可行的方案。 虽然股票交易市场一...

25
390
发表了资讯
2015/11/28 00:00

一个 Hadoop 老兵的自白

Apache Hadoop 是一个免费软件,但实际上,除非是拥有庞大工程师团队的大公司,否则最好不要去创建仅供内部使用的Hadoop版本,因为如果要购买技术支持,那 Hadoop 就不是免费的了。Jim Scott 是 MapR 企业战略&架构部门的负责人。2009年,他接触了自己的第一个 Hadoop 版本 Cloudera。他发现,Apache Hadoop 平台存在一些固有的设计缺陷。近日,他从以下几个方面分析了这些缺陷,并介绍了 MapR 的解决方案。 Append-only文件访问...

28
65
发表了资讯
2015/09/26 00:00

Apache Hadoop 2.6.1 发布

Apache Hadoop 2.6.1发布了,在2.6.x版本线上是一个点的发布,修复2.6.0很多关键问题。 详细请参照 Hadoop 2.6.1 Release Notes .

0
8
发表了资讯
2015/09/22 00:00

O'Reilly 向亚洲引进 Strata+Hadoop 大数据会议

O'Reilly Media, Inc 继 Velocity China 之后,今年 12 月份将再度向亚洲市场重磅引进 Strata + Hadoop World 大会。此次大会由 O'Reilly Media, Inc 携手 Cloudera 联合举办,汇聚行业精英,分析师、决策者,着眼于重塑并展望经济与技术的未来。 Strata+Hadoop World 被誉为世界的大数据盛会,它为各种技术提供了深度交流的机会,参会者在这里能看到最领先的技术、最广泛的应用场景、最有趣的案例教学,以及最全面的大数据行业...

6
6
发表了资讯
2015/07/30 00:00

什么是 Hadoop 生态系统

https://www.facebook.com/hadoopers 在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示例时,比如 Hortonworks Data Platform, Cloudera Quickstart 等等,里面会包含大量的开源项目。本篇文章主要是对 Hadoop 生态系统有个初步的认识,以下的一些开源项目详情可以查看 hadoop ecosystem table。 Map Re...

10
106
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2015/06/11 10:37

Hadoop(Hadoop优化)

Hadoop(Cloudera manager) Map/Reduce (Hadoop优化) yarn.nodemanager.resource.memory-mb 100G yarn.scheduler.minimum-allocation-mb 9G yarn.scheduler.maximum-allocation-mb 100G mapreduce.map.memory.mb 9G mapreduce.reduce.memory.mb 18G mapreduce.task.timeout 60分钟 mapreduce.map.java.opts.max.heap 7G mapreduce.reduce.java.opts.max.heap 14G <?xml version="1.0"?> <configuration> <property> <name>yar...

0
1
发表了博客
2019/03/29 10:39

Hadoop记录-Hadoop jmx

https://cwiki.apache.org/confluence/display/EAG/Hadoop+JMX+Monitoring+and+Alerting curl http://10.116.100.2:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020 认识JMX 类JMXJsonServlet继承父类 javax.servlet.http.HttpServlet 只提供web页面来访问JMX 例如:启动了hadoop集群(master slave1 slave2) 通过端口50070访问:master:50070查看namenode节点 若查看namenode的监控信息,可直接访问:mas...

0
0
发表了博客
2019/07/12 18:06

Hadoop hadoop balancer配置

hadoop版本:2.9.2 1、带宽的设置参数: dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小:dfs.datanode.max.transfer.threads 默认值4096 3、修改dfs.datanode.balance.max.concurrent.moves ,指定DataNode上同时用于balance待移动block的最大线程个数,这个值默认是50 如果dfs.datanode.balance.max.concurrent.moves 这个值设置不合理,balancer里面会报IO错误:(我这里设置的有点高...

0
0
2019/09/15 09:43

Hadoop已死,Hadoop万岁

云,在地平线之内 最近又有很多关于“Hadoop已死”的论调,似乎每隔一段时间就会有一些类似的文章或声音。几年前Cloudera就已经停止了以Hadoop来营销自己,而是一家企业数据公司。如今,Cloudera也已进入企业数据云市场:混合/多云和多功能分析,具有通用的安全和治理,所有这些都由开源提供支持。 话虽如此,但要挑战如潮水般“Hadoop已死”的负面消息,还是有难度的。我的看法是Hadoop代表的是数据领域的开源社区,这个社区本...

0
0
发表于云计算专区
2015/04/02 12:46

Hadoop 之初识Hadoop

Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统(GFS)。GFS也就是google File System,google公司为了存储海量搜索数据而设计的专用文件系统。 2004年Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。 2004年Google又发表了一...

0
18
发表了博客
2019/01/28 15:30

Hadoop开发 Hadoop视频教程 段海涛老师Hadoop完全攻克Hadoop视频教程 Hadoop开发

最新在学习hadoop 、storm大数据相关技术,发现网上hadoop 、storm 相关学习视频少之又少,更可恶的是不少机构使用段海涛老师Hadoop视频进行商业买卖,气愤至急,我这里整理了传智播客段海涛老师的hadoop学习视频,分享出来给大家学习交流。 ps:传智播客是个不错的学习地方,段海涛老师视频中的表达也很有趣,中间还有内涵段子哈哈,希望大家多支持传智播客;此次分享只是供喜欢技术钻研新技术的同学学习交流,全新hadoop培训大...

0
0
发表了博客
2019/02/18 13:38

Hadoop

Hadoop集群 主节点:dd 从节点:dd1 dd2 添加节点:dd3 -------------------------------------------------------------------------------- 快速安装 #无密互通 ssh-keygen ssh-copy-id -i dd for ((x=0;x<=3;x++));do scp -r .ssh dd$x:~ ; done for ((x=0;x<=3;x++));do scp /etc/hosts dd$x:/etc/ ; done source /etc/profile #dd dd1 dd2 dd3 tar -C /home mv /home/hadoop-2.9.2/ /home/hadoop mkdir /home/hadoop/tmp ...

0
0
发表了博客
2018/03/23 12:20

hadoop

前置条件: Linux + JDK master-slave架构: masters: NameNode + ResourceManager slaves: DataNode/NodeManager 守护进程: HDFS: NameNode, SecondaryNameNode, DataNode YARN: ResourceManager, NodeManager, WebAppProxy MapReduce: Map Reduce Job History Server 适合一次写入多次读取 客户端联系Namenode以获取文件的元数据或修饰属性,而真正的文件I/O操作是直接和Datanode进行交互的。 周期心跳和块状态报告 状态监控...

0
0
发表了博客
2019/05/06 11:31

Hadoop

Hadoop的起源 2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。 2005年,Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。 2006年2月被分离出来,成为一套完整独立的软件,起名为Hadoop Hadoop名字不是一个缩写,而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2016/12/09 17:38

sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly

软件运行环境:redhat 6 hadoop-2.6.0-cdh5.9.0 hive-1.1.0-cdh5.9.0 sqoop-1.4.6-cdh5.9.0 hive在主节点,sqoop在从节点上 sqoop导入hive表示报错 16/12/09 17:18:47 INFO mapreduce.ImportJobBase: Transferred 49 bytes in 19.624 seconds (2.4969 bytes/sec) 16/12/09 17:18:47 INFO mapreduce.ImportJobBase: Retrieved 6 records. 16/12/09 17:18:47 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM...

5
2
发表了问答
2016/01/08 13:36

spark beeline 查询问题

beeline 通过thriftsvr 建立session select 的时候只能出现第一列的值,如下图: 单select一列数据的时候,可正常输出 求解答

2
0
发表了问答
2016/11/30 14:45

HBase中车辆轨迹数据保存方案

我们有个项目是用来查询车辆的轨迹,在某个市的每条主要道路的十字路口都安装了采集设备,车辆经过时会采集到车辆信息,包括车牌号码、采集时间、采集经纬度。平均每天有1亿条采集数据。现在我的需求是按车牌号和时间段查询经过了哪些十字路口,然后在地图上显示轨迹,希望这个查询能在3-5秒内返回结果。Hbase是否适合这种业务需求? 如果适合的话这个表应该如何设计?

3
1
发表了问答
2015/09/06 23:55

openSOC环境具体如何搭建

@Booklearn 你好,想跟你请教个问题: 最近看了官方给的openSOC开源项目,但是看的云里雾里,不知道具体该如何搭建这样的一个环境,根据文档的介绍,我尝试搭建了 Hadoop Flume Kafka 等,但是不知道如何才能结合在一起,比较小白,想向您请教下,谢谢!

4
0
2020/10/19 15:38

“2020 年度 OSC 中国开源项目评选” 活动说明

>>> 2020 年度 OSC 中国开源项目评选结果已公布! “2020 年度 OSC 中国开源项目评选” 活动将评出最佳人气项目、优秀 Gitee 组织与最积极运营项目这几个奖项。其中,最佳人气项目由大众投票选出;其它奖项则根据相关数据直接进行评选。 各类别具体规则如下: 最佳人气项目 >> 参评规则 参选渠道(项目参选主要通过自主提名及评审委员会提名两种渠道) 正式票选前开启自主提名通道,所有团队和个人开发者都可以提交自己的优秀开...

2
0
发表于服务端专区
2019/06/28 22:08

程序员的出路在哪里?七年半老程序员的一点心得

我是南方人,大专,软件技术专业,2011年底出来实习做前端。实习大家都懂的,薪资低任务重,做了大半年,到2012年拿了毕业证就离职了。说实话当时的技术也菜的不行,只会div+css布局网页,写点简单的js特效而已。离职后颠沛流离到处找工作,大半年时间,换了三四份工作,深深感受到,没有一技之长,在这个社会很难混下去。就这样,这个号称世界末日的2012年,还没到过年,曾经被视为家里的希望的我,提前回家休息了。 我清楚记得...

115
18
发表了问答
2015/02/15 00:22

hadoop2.5编译出现The requested profile "native" could not be activated because it does not exist?怎么解决

Downloading: http://maven.oschina.net/content/groups/public/org/mockito/mockito-core/1.8.5/mockito-core-1.8.5.jar Downloaded: http://maven.oschina.net/content/groups/public/commons-logging/commons-logging/1.1.1/commons-logging-1.1.1.jar (60 KB at 54.6 KB/sec) Downloading: http://maven.oschina.net/content/groups/public/org/objenesis/objenesis/1.0/objenesis-1.0.jar Downloaded: http://maven.oschin...

3
0
发表了问答
2015/05/13 14:46

hadoop集群配置了kerberos后,如何使用JAVA程序调用?

hadoop集群配置了kerberos后,如何使用JAVA程序调用? 使用的是Cloudera 的CDH5.3,配置好kerberos后,使用如何JAVA代码访问,总是报:Unable to obtain password from user public static void test1(String user, String keytab, String dir) throws Exception { Configuration conf = new Configuration(); // conf.set("fs.defaultFS", "hdfs://hadoop01:8020"); conf.set("hadoop.security.authen...

8
0
发表了问答
2020/06/07 20:35

【一周】fastjson安全公告 | Linus电脑配置 | Debian 10管理员手册 | TIOBE 榜单

回顾一周社区热门资讯 第【七十六】期:20200530-20200605 点击相应标题,跳转阅读全文 Ubuntu on WSL 2 GA iPhone 11 训练神经网络的开源项目火了,准确率可与 i7 MacBook Pro 持平 在模型架构和训练参数相同的情况下,同时在 iphone 11上运行 Core ML 和在 i7 MacBook Pro 上运行 TensorFlow 2.0,两种方式的准确率都超过了0.98,前者训练时间大概为248秒,后者为158秒。 .NET IDE Rider 公布 2020.2 路线图 Linus Torvalds 公...

1
5
发表了问答
2020/06/08 13:13

有类似MRunit的工具吗?写Hadoop3单元测试用不了了。

如题

1
0
发表于AI & 大数据专区
2020/05/28 17:25

IllegalAccessError: tried to access .Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat

java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.intellij.rt.execution.CommandLineWrapper.main(CommandLineWrap...

1
0
发表于开发技能专区
2019/07/18 15:09

arm64 cpu架构机器上安装了hadoop、hbase,编写的程序无法运行,求大神指教

报错说找不到Bytes$LexicographicalComparerHolder$UnsafeCompare,但是这个类没有问题,程序在我的windows(x86_64)正常运行,到arm64或者mips64就无法运行 INFO [main] ClassPathXmlApplicationContext - Refreshing org.springframework.context.support.ClassPathXmlApplicationContext@22927a81: startup date [Thu Jul 18 14:51:20 CST 2019]; root of context hierarchy INFO [main] XmlBeanDefinitionReader - Loadin...

1
0
发表于开发技能专区
2020/03/06 14:13

Can't get Master Kerberos principal for use as renewer     a

n" java.io.IOException:Can't get Master Kerberos principal for use as renewer at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:116) at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:100) at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodes(TokenCache.java:80) at org.apache...

1
0
2020/04/22 21:59

想用eclipse实现对mongodb数据库的增删等操作,卡在jar加载,java mongodbdriver只有tar.gz后缀的能下载到,下了以后解压里面的文件找不到可以加载进java project的jar文件

想用eclipse建立java project实现对mongodb数据库的增删等操作,卡在jar加载这里了,到官网一直下载不到,最后在maven.org这个地方只能下载到mongodb-java-driver.tar.gz的文件,mongodb-java-driver.jar文件有选择下载,可是一直连接失败,造成下不下来,然后硬着头皮解压了前面的tar.gz文件后,一脸懵逼,几乎没有可供eclipse加载的jar。一脸懵逼,是不是还需要通过什么指令二次写入jar文件,还是我根本就下错了,下了以后解压...

6
0
发表于DevOps专区
2018/09/03 16:48

hive任务转为mapreduce任务后,运行失败了,mr自动kill掉了

配置:centos7.3 ,1核8G内存,hadoop版本2.7.3,hive版本0.12 -----------------------------分割线--------------- 具体代码: sql = "select count(1) from " + tableName;     System.out.println("Running:" + sql);     res = stmt.executeQuery(sql);     System.out.println("执行“regular hive query”运行结果:");     while (res.next()) {       System.out.println("count ------>" + res.getString(1));     } 反馈为...

2
0
2020/04/14 10:11

请问spark最新的2.4.5版本底层还需要依赖hive做数仓吗,可否只部署spark而抛弃hive

我今天翻阅spark文档,发现文档只提到了可以用hive做数据源,但没说一定得安装hive,由于最近在探索利用大数据做报表,所以想问下spark能不能直接脱离hive,完成数仓工作

1
0
2020/04/10 16:10

hadoop集群中每台都必须启动DataNode吗,可以只启动NN而不启动DN吗

我刚学习大数据四天左右吧,今天按照阿帕奇的官方文档把集群搭建出来了,用了四台虚拟机来模拟,然后使用集群群启脚本后发现每台服务器都启动了DataNode,但是我学习时候有了解到启动了NN的服务器最好不要存放DN,所以想问下有没有什么奇怪的配置可以指定哪台主机是DN,哪台主机是NN,哪台主机SNN这种。。还是说必须自己去写脚本……我不太懂这个东西额。 附图是我在每个主机上用jps命令看的,本来的规划是表格那样,但实际上每...

3
0
发表于DevOps专区
2020/03/12 10:05

Unrecognized Hadoop major version number: 3.0.0-cdh6.3.0

Caused by: java.lang.ExceptionInInitializerError at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:105) at org.apache.spark.sql.hive.client.HiveClientImpl.newState(HiveClientImpl.scala:153) at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:118) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAcces...

3
0
发表于服务端专区
2020/03/16 14:42

hadoop.security.AccessControlException: Client cannot authenticate via 报错了

while invoking ApplicationClientProtocolPBClientImpl.getClusterMetrics over null after 25 failover attempts. Trying to failover after sleeping for 39869ms. 20/03/16 14:13:00 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS] 20/03/16 14:13:00 INFO retry.RetryInvocationHandler...

1
0
发表于服务端专区
2020/03/04 17:37

User and group related metrics java.lang.IllegalArgumentException: Can't get Kerberos realm

DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, value=[Rate of successful kerberos logins and latency (milliseconds)], valueName=Time) 17:37:49.619 [...

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
25 评论
1K 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部