Apache Spark

软件主页
关注
Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,S...
加载中
5
回答
请教南京的小伙伴:java开发或者大数据开发环境怎么样

请教南京的小伙伴:java开发或者大数据开发环境怎么样(薪资、福利等)?有哪些好公司可以考虑?12年2月至今一直在深圳,前3年纯java,后4年java和...

02/12 10:03
1
回答
spark+lucene 构建大数据存查的可行性

@震秦 你好,想跟你请教个问题:希望构建一个千亿级别的大数据存查系统 希望能做到复杂查询的快速响应 个人倾向于lucene系列(Lucene solr e...

01/15 12:10
2
回答
spark streaming中报kafka的offset错误,如何解决

java.lang.AssertionError: assertion failed: Beginning offset 19309438 is afte...

2016/03/02 14:11
4
回答
自学了Spark,找到了实习,但是部门里没有人带,很多异常处理不了怎么办。

自学了Spark和Hadoop,但是没有工作经验,找到了一份相关的实习,但是部门里没有人会这个技术,没有人带,现在写代码经常遇到异常,不知道该怎么处理,请...

1
回答
sparkStreaming中使用redis造成连接数高居不下的问题

在sparkStreaming中使用redis,创建jedisPool线程池,然后使用完毕后,通过jedis.close关闭连接,送回连接池,使用的是单例...

2018/10/31 15:42
9
回答
Java工程师发展问题

各位oscer大牛好,我做Java工程师大约有4个年头了,4年除Java外还学习了python、scala、hadoop、spark、这些东西,但都没有实...

2018/11/21 10:24
1
回答
您好,请问对于Kylin的执行引擎,若用Spark来完成,是否有相关的接口,可以手工写Spark代码来完成?

@shaofengsh 你好,想跟你请教个问题:Apache Kylin的官方文档中,有关接口的描述并不多,我想问的是,二次开发是否只能根据提供的接口来完...

2018/11/26 14:15
1
回答
CDH5.7.6安装spark时出现目录不存在的问题

环境:CDH5.7.6 图一中明明是创建了,图二中却说找不到,这个问题有点奇怪。后来我手动创建,手动chmod,chown给spark:spark,仍然报...

2018/10/30 14:23
3
回答
/usr/spark/sbin/start-all.sh 启动 spark失败,怎么搞
flink58 的回答 2015/09/30 08:49
最佳答案
hadoop 2.2 版本 不兼容 spark1.5, 查看官网得知, hadoop 2,2兼容版本是spark1.0.2
1
回答
spark streaming 的window operation操作疑问

不太理解哈 如上面贴出的图中,每隔2个time unit然后去计算过去3个time unit内的数据,这样不会计算重复吗?按我理解的 time 3就计算重...

2016/04/20 22:06
1
回答
scala 和 python代码可以共用SparkContext吗

原来的scala代码中实现了sparkContext的共用,类似于jobserver的方式。 现在想再支持python代码,也就是一个流程中既有scala...

2017/07/10 16:36
1
回答
Spark计算求助: 1000W的客人档案数据,两两匹配合并一定程度相同的客人档案为一个档案,怎么算?

Spark计算求助: 1000W的客人档案数据, 两两匹配,合并一定程度相同的客人档案为一个档案. 比如A数据和C数据经过逻辑判断,应该为一个人,就合并成...

2017/05/26 16:16
1
回答
求资源:Spark+Kafka实时流机器学习实战

Spark+Kafka实时流机器学习实战视频教程下载?

2017/05/29 14:59
1
回答
求助,使用过程spark streaming 中资源利用不到位?

存在问题是: 使用spark streaming 解析kafka传输过来的二进制数据,大概每个数据包有4000个属性,对于每一个包都需要循环4000次,现...

6
回答
spark的 机器学习,有没有什么比较好的学习路径和方法呢?

spark的 机器学习,有没有什么比较好的学习路径和方法呢? spark的 机器学习,有没有什么比较好的学习路径和方法呢?

2015/11/17 10:51
3
回答
如何实现Spark实时统计日志数据并将结果同步到hive?

最近写了个小程序统计Apache日志的数据,但不是实时的。现在需要每个小时统计一次日志在该时间段内的数据,如果不是自动化的话,每个小时都要跑一次程序,然后...

2017/01/11 20:57
1
回答
cloudermanager中安装的spark集群gateway不适用,是不是还需要手动配置?

cloudermanager中安装的spark集群gateway不适用,是不是还需要手动配置?

2016/12/16 11:45
7
回答
spark 2.0 集群安装后,启动master后.NoSuchMethodError: javax.servlet.http.HttpServletRequest.isAsyncStarted()Z,怎么解决

spark 2.0 集群配置好后,启动集群,启动时master及所有worker都能正常启动 但打开master控制台http://master:8080...

2016/08/16 08:55

没有更多内容

加载失败,请刷新页面

返回顶部
顶部