Hadoop

软件主页
关注
Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一...
加载中
4
回答
自学了Spark,找到了实习,但是部门里没有人带,很多异常处理不了怎么办。

自学了Spark和Hadoop,但是没有工作经验,找到了一份相关的实习,但是部门里没有人会这个技术,没有人带,现在写代码经常遇到异常,不知道该怎么处理,请...

4
回答
一张图看懂hadoop生态圈

好多朋友觉得,通过扁平的文章了解hadoop生态圈不是很直观。 所以我抽时间,把hadoop生态圈中的各部分通过架构图的形式,直观的整理了出来, 方便对h...

2017/03/31 18:35
1
回答
运行hadoop中的wordcound的错误?

报错信息: 18/12/20 11:17:21 INFO mapreduce.Job: Job job_1545275758816_0001 runnin...

2018/12/20 11:45
3
回答
WARN org.apache.zookeeper.ClientCnxn: Session 0x0 for server null

` 我估计是ZOOKEEPER启动不起来,请大家帮我看看是什么原因,我研究了两天了,实在不知道怎么弄了 使用文件如下: CentOS_5.5_Final....

2012/09/21 12:52
1
回答
hive 或者 presto 有没有类似于mybatis 能把表给结构化 并把sql语句提取出来的框架
长相思面 的回答 2018/12/03 16:00
最佳答案
已经解决了,直接在mybatis里面配置hive 表结构的bean;dao;mapping 然后给mybatis写了一个拦截器, 在mybatis执行查询操作前进行拦截,查mysql的和查hive的Dao 放在不同的package下面 拦截后可以获取最终的sql语句与该sql的对应Dao路径,...
9
回答
Java工程师发展问题

各位oscer大牛好,我做Java工程师大约有4个年头了,4年除Java外还学习了python、scala、hadoop、spark、这些东西,但都没有实...

2018/11/21 10:24
1
回答
基于hive建设数据仓库的问题?

想建设一个数据仓库,查阅了很多数仓建设方案,现在分层方案已经有了,具体物理上基于hive如何构建还是比较迷惑。主要疑问这几点: 1、在hive中建立多个库...

2018/11/30 09:06
1
回答
电商搜索项目,技术选型搭配

需求:电商搜索项目,数据量在亿级。现在选用solr搭建搜索,后期涉及到分布式部署的需求。而且有一张表的数据对于实时性要求比较高 考虑的技术搭配大概为:so...

2018/11/17 11:02
1
回答
Hadoop的数据减少

元数据: order.txt order001,u001 order002,u001 order003,u005 order004,u002 or...

2018/10/29 17:21
1
回答
Hadoop问题
飞来飞去1 的回答 2018/10/29 17:35
最佳答案
这个问题已经发现了, public static class OrderStep2Mapper extends Mapper<LongWritable, Text, Text, OrderBean>{。。。} 一个改为: public static class OrderStep2Mapper...
6
回答
我用hue执行hive SQL的时候 hbase报connectionException
漓江 的回答 2016/11/05 09:17
最佳答案
一点建议。hue没有搭建过,不知道是否可行 1)确认你所有的节点时间都是同步的 2)使用./bin/beeline远程连接hive确认是否可以正常执行 3)确认你的hbase集群是否正常,看提示信息,在连接hbase:meta系统表的时候出现等待超时异常
1
回答
请问mongo(java) 如何 把 集合(list) 作为 条件查询?

比如 数据是类似这样的字段 这个存储的字段是 list<String> 类型,不知道 怎么能 根据这个字段查询出来? 我试了 List<String> l...

2016/03/28 19:20
20
回答
【HOT】【头疼】项目上线三个月,每天过亿的数据量....如何处理是好?

1、忽略标题里面的中括号,不是【东京 HOT】 2、数据表里面的数据是在是太多了,通常要做一些数据统计报表之类的工作,头疼的很 3、已经做过如下的处理,但...

2015/10/28 19:40
1
回答
hadoop启动后namenode挂掉报错,日志居然提示umilit -a??

centos7 +hadoop2.7.3+服务器1核2G内存 --------------------fen ge xian------------ 实验...

2018/09/21 08:02
2
回答
hive导入数据到【有分区的表】(partitioned by)就报错,提示hive.partition表不存在?

服务器centos7.2 hive版本0.12 hadoop版本2.7.6 ----------------分割线----------------- 创建...

2018/09/01 16:07
5
回答
Hadoop-2.7.1运行wordcount报错(mapreduce已经执行完成并结果正确)
悟空太多啦 的回答 2015/08/04 00:03
最佳答案
mapred-site.xml写错了: <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bd01.19888</value> </property>
3
回答
sqoop导入hive表报错Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly

软件运行环境:redhat 6 hadoop-2.6.0-cdh5.9.0 hive-1.1.0-cdh5.9.0 sqoop-1.4.6-cdh5.9....

2016/12/09 17:38
1
回答
CDH支持hadoop3.X吗?

CDH支持hadoop3.X吗?

2018/08/03 15:53
1
回答
大数据环境中,根据一张表(idList)的数据去修改另一张表的数据(id_label),有没有比较高效的方法?

现在有一个类似的需求,在cloudera环境中,是根据一个表的数据去更新另一个表的对应的行的某个字段。 如在hive中有: 表A(字段有一个,为id),对...

2018/05/07 11:33

没有更多内容

加载失败,请刷新页面

返回顶部
顶部