Hadoop

软件主页
关注
Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一...
加载中
44
回答
程序员的出路在哪里?七年半老程序员的一点心得

我是南方人,大专,软件技术专业,2011年底出来实习做前端。实习大家都懂的,薪资低任务重,做了大半年,到2012年拿了毕业证就离职了。说实话当时的技术也菜...

2019/06/28 22:08
1
回答
hive任务转为mapreduce任务后,运行失败了,mr自动kill掉了

配置:centos7.3 ,1核8G内存,hadoop版本2.7.3,hive版本0.12 -----------------------------分割...

2018/09/03 16:48
5
回答
毕设想做一个从weibo关注关系进行可能认识的人的推荐系统,用python爬取关注关系数据后,之后需要用到哪些东西呢?

对于获得的数据不知道怎么处理,怎样和spring boot 结合起来,需要Hadoop什么的吗,能给个技术路线吗

2019/12/15 13:49
1
回答
hbase问题 GSSException: Invalid name provided (Mechanism level: KrbException: Cannot locate default realm)

failed on local exception: javax.security.sasl.SaslException: Failure to init...

2019/12/17 15:53
3
回答
hive导入数据到【有分区的表】(partitioned by)就报错,提示hive.partition表不存在?

服务器centos7.2 hive版本0.12 hadoop版本2.7.6 ----------------分割线----------------- 创建...

2018/09/01 16:07
5
回答
使用java 开发连接 Hbase程序,出现连接之后永久等待

window下 开发的日志如下 14-11-25.17:10:28.904 [main-SendThread(CentOs-PC:2181)] INFO ...

2014/11/25 17:13
4
回答
sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly

软件运行环境:redhat 6 hadoop-2.6.0-cdh5.9.0 hive-1.1.0-cdh5.9.0 sqoop-1.4.6-cdh5.9....

2016/12/09 17:38
5
回答
hadoop集群配置了kerberos后,如何使用JAVA程序调用?

hadoop集群配置了kerberos后,如何使用JAVA程序调用? 使用的是Cloudera 的CDH5.3,配置好kerberos后,使用如何JAVA...

2015/05/13 14:46
1
回答
spark-submit yarn-client 运行失败

2015-08-26 16:48:55,941 INFO [main] spark.SecurityManager (Logging.scala:logI...

2015/08/26 17:01
5
回答
如何做大数据量的实时层叠筛选,使用什么技术,实现思路是什么?

前提:现有一个表近2亿条数据,例如表字段有“ID”,“姓名”,“年龄”,“所在省份”,“性别”等。 需求:将上述表2亿条数据,根据年龄、所在省份、性别这3...

2019/08/02 16:45
1
回答
求推荐一款windows环境下的图片存储服务

目前需要在windows环境下做图片存储服务,以小文件为主,看了下hadoop比较适合大文件, fastdfs又不支持windows,有其他比较好的服务吗

2019/07/29 14:07
1
回答
新手求指导-自搭hadoop集群

1.Linux版本centos7.5 2.java jdk 1.8 3.hadoop版本2.7.3 4.java环境变量以及Hadoop环境变量截图 5....

2019/05/21 17:25
3
回答
小白和牛人之间的这15个问答,让你知道该怎么学习大数据

问:不同的语言在数据处理以及算法计算过程中性能的差别是否很大? 答:就目前的经验来看,使用C或者C++的效率确实要比PYTHON高一些,但是没有差到一个数...

2017/04/21 18:11
1
回答
用户画像存储方案

1.用户数千万级 2.标签最高支持上万 3.标签会逐渐增多 4.支持依据多个标签进行查询,统计数量(秒级响应)(这是重点) 用什么存储能实现? Hbase...

2019/05/08 11:21
1
回答
hadoop 远程提交job任务异常

我的问题: 环境:Hadoop2.6.0 jdk: 1.8.0_121 问题描述: 当下面程序中的输入文件目录(/init_data/)中存在文件时,能够...

2019/05/05 12:24
7
回答
java程序怎么向远程的hadoop提交mapreduce任务呢

在网上查了很多资料,都没有说的很清楚的。 我知道在namenode上通过命令 hadoop jar 的方式来提交mapreduce任务,但是在正真程序执行...

2015/05/22 07:19
2
回答
每天几十万hive任务,瓶颈在hive元数据db上,有什么成熟解决方案

用的主备mysql,目前mysql高峰期一直冲高,有什么成熟的db解决方案

2019/04/15 20:41
1
回答
hadoop reduce 时不知道数据类型

hadoop mapper : mapper 输出的时<Text,IntWriteable> 在reduce的时候 怎么知道reduce的输入类型的? m...

2019/04/08 15:27
1
回答
Apache kylin build cube fial log "no counters for job" 

Apache kylin build cube fial log is "no counters for job" I created a model o...

2019/04/02 19:49

没有更多内容

加载失败,请刷新页面

返回顶部
顶部