Apache Spark 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Apache Spark 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Apache Spark 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 BSD
开发语言 Scala 查看源码 »
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 bear256
适用人群 未知
收录时间 2012-01-05

软件简介

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。

一个简单的计算:

file = spark.textFile("hdfs://...")
 
file.flatMap(line => line.split(" "))
    .map(word => (word, 1))
    .reduceByKey(_ + _)
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (5)

加载中
重名了吧Spark Google Spark
2013/11/22 09:17
回复
举报
高性能 大数据 分布式 。。高大上 #Apache Spark#
2016/01/22 16:36
回复
举报
spark 1.6.1发布了 #Apache Spark#
2016/03/11 12:53
回复
举报
2016/05/17 19:01
回复
举报
2016/07/13 13:20
回复
举报
更多评论
2021/09/11 08:29

AWS、微软参投 Databricks 的 16 亿美元融资

Databricks 宣布最终结束其近期进行的金额达 16 亿美元的 H 系列融资。并新披露了一个细节,即,该行业的三个顶级云供应商 AWS、微软、以及 CapitalG(Alphabet 旗下资产增长型的投资组合部门)都参与了此轮投资。Databricks 成立于 2013 年,是大型数据分析工具的头部供应商之一;以其基于开源的 Apache Spark 大数据框架的统一数据分析平台而闻名。 AWS、微软和谷歌母公司 Alphabet 支持同一家创业公司的情况并不常见。根据介...

0
1
发表于AI & 大数据专区
2021/03/05 07:13

Apache Spark 3.1 发布

Apache Spark 3.1 作为 Databricks Runtime 8.0 的一部分已正式发布,这也是 Apache Spark 3.x 系列的第二个 release。开发团队表示,为了让 Spark 更快、更方便使用以及更智能,Spark 3.1 对以下特性进行了扩展: Python 可用性 ANSI SQL 合规性 查询优化增强 改进 Shuffle hash join History Server 对结构化流数据的支持 下面简单介绍部分高级的新功能和改进。 Project Zen Project Zen 启动于此版本,主要从以下三个方面改进...

1
4
发表于运维专区
2020/06/22 07:30

Apache Spark 3.0 发布

Databricks 上周发布了 Apache Spark 3.0,并将此作为新版 Databricks Runtime 7.0 的一部分。3.0.0 版本包含 3400 多个补丁,为 Python 和 SQL 功能带来了重大进展。 Spark 是用于大数据处理,数据科学,机器学习和数据分析等领域的统一引擎。 Spark 3.0 重要变化: 与 Spark 2.4 相比,TPC-DS 的性能提升了2倍,主要通过自适应查询执行、动态分区修剪和其他优化实现 兼容 ANSI SQL 针对 pandas API 的重大改进,包括 Python 类...

7
11
2020/05/17 08:46

NVIDIA 合作开源社区,将 GPU 加速带入 Spark 3.0

NVIDIA 方面宣布与开源社区达成合作,为 Apache Spark 3.0 带来端到端的 GPU 加速。 Apache Spark 3.0 是一种用于大数据处理的分析引擎,目前已被全球超过 500,000 名数据科学家所使用。 按照计划,随着 Spark 3.0 于春季晚些时候发布,数据科学家和机器学习工程师将首次能够把革命性的 GPU 加速应用于普遍使用 SQL 数据库操作进行的 ETL(提取、转换和加载)数据处理工作负载中。 此外,AI 模型训练将能够在相同的 Spark 集群上...

7
9
发表于AI & 大数据专区
2019/09/09 07:30

Apache Spark 2.4.4 发布, 开源集群计算环境

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。 2.4.4 版本包含稳定性修复的维护版本,内容如下: 修复十进制 toScalaBigInt/toJavaBigInteger 表示不适合长的十进制的问题 修复 PushProjectionThroughUnion 可空性问题 ...

1
3
发表于DevOps专区
2018/11/11 07:15

Spark 2.4 发布,大规模数据处理统一分析引擎

Spark 2.4 发布了,Apache Spark 是用于大规模数据处理的统一分析引擎,它是一种与 Hadoop 相似的开源集群计算环境,Spark 启用了内存分布数据集,除了能够提供交互式查询外,还可以优化迭代工作负载。尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。 此版本继续关注可用性、稳定性和性能优化,同时解决了大约 1100 个 tickets。主要更新如下: 增加了...

0
11
发表于服务端专区
2018/03/01 17:49

Apache Spark 2.3.0 正式发布,改进可用性和稳定性

Apache Spark 2.3.0 正式发布,这也是 2.x 系列中的第四个版本。此版本增加了对 Structured Streaming 中的 Continuous Processing 以及全新的 Kubernetes Scheduler 后端的支持。其他主要更新包括新的 DataSource 和 Structured Streaming v2 API,以及一些 PySpark 性能增强。 此外,此版本继续针对项目的可用性、稳定性进行改进,并持续润色代码。 各项更新具体细节,请查阅发行说明: https://spark.apache.org/releases/sp...

2
4
发表了资讯
2017/07/12 18:10

Apache Spark 2.2.0 正式发布,提高可用性和稳定性

Apache Spark 2.2.0 正式发布,这也是 2.x 系列的第三个版本。此版本移除了 Structured Streaming 的实验标记(experimental tag),意味着已可以放心在线上使用。 该版本的主要更新内容主要针对的是系统的可用性、稳定性以及代码润色。包括: Core 和 Spark SQL 的 API 升级和性能、稳定性改进,比如支持从 Hive metastore 2.0/2.1 中读取数据;支持解析多行的 JSON 或 CSV 文件;移除对 Java 7 的支持;移除对 Hadoop 2.5 及更...

7
12
发表了资讯
2016/10/08 00:00

Spark 2.0 时代全面到来 —— 2.0.1 版本发布

距离Spark 2.0.0发布两个月后,Spark 2.0.1版本发布了,这是一个修正版本,共处理了300多个Issue,涉及spark稳定性和bug等方面的修复 ,它的发布意味着Spark 2.0接近生产环境使用要求,想要尝试Spark 2.0的可以动手了。 Apache Spark 2.0是基于spark branch-2.x 开发的,相比于branch-1.0,它在功能和性能等方面均有巨大改进。在性能方面,Spark 2.x 有2~10倍的提升;在功能方面,Spark SQL中的Dataset变得成熟,Spark 2.x通过D...

22
39
发表了资讯
2016/09/03 00:00

Spark 体系架构

最近看到一篇关于Spark架构的博文,作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道,他对Spark理解地非常深入,读完他的 “spark-architecture” 这篇博文,有种醍醐灌顶的感觉,从JVM内存分配到Spark集群的资源管理,步步深入,感触颇多。因此,在周末的业余时间里,将此文的核心内容译成中文,并在这里与大家分享。如在翻译过程中有文字上的表达纰漏,还请大家指出。 首先来看一张Spark 1.3.0 官方给出的图片,如...

44
145
发表了资讯
2016/07/28 00:00

Apache Spark 2.0.0 发布,APIs 更新

Apache Spark 2.0.0 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。 该版本主要更新APIs,支持SQL 2003,支持R UDF ,增强其性能。300个开发者贡献了2500补丁程序。 Apache Spark 2.0.0 APIs更新记录如下: Unif...

22
45
发表了资讯
2016/07/05 00:00

新手入门:Spark 部署实战入门

Spark简介 整体认识 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 Spark在整个大数据系统中处于中间偏上层的地位,如下图,对hadoop起到了补充作用: 基本概念 Fork/Join框架是Java7提供了的一个用于并行执行任务的框架, 是一个把大任务分割成若干个小任务,最终汇总每个小任务结果后得到大任务结果的框架。 第一...

5
144
发表了资讯
2016/06/28 00:00

Apache Spark 1.6.2 发布,集群计算环境

Apache Spark 1.6.2 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地...

1
14
发表了资讯
2016/05/12 00:00

Spark 2.0 预览:更简单,更快,更智能

Apache Spark 2.0 技术预览在 Databricks Community Edition 发布。该预览包使用upstream branch-2.0构建,当启动Cluster时,使用预览包和选择“2.0 (Tech Preview)” 一样简单。 离最终的Apache Spark 2.0发布还有几个星期,现在先来看看有什么新特性: 更简单:SQL和简化的API Spark 2.0依然拥有标准的SQL支持和统一的DataFrame/Dataset API。但我们扩展了Spark的SQL 性能,引进了一个新的ANSI SQL解析器并支持子查询。Spark...

6
49
发表了资讯
2016/03/11 00:00

Apache Spark 1.6.1 发布,集群计算环境

Apache Spark 1.6.1 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地...

8
19
发表了资讯
2016/02/29 00:00

Apache Spark 2.0 最快今年4月亮相

1月才刚释出1.6版的大数据技术Spark,下一个2.0版本预计4、5月释出,将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame 大数据技术Spark今年1月才刚释出1.6版,下一个2.0版本就已经蓄势待发,预计今年4、5月释出,近日Spark创办人、同时也是 Databricks技术长的Matei Zaharia,更在2016 Spark Summit上,抢先揭露了Spark 2.0即将带来的3大主要特色:包括能大幅提升Spark平台效能的Project Tungs...

16
25
发表了资讯
2016/01/05 00:00

Apache Spark 1.6 正式发布,性能大幅度提升

Apache Spark 1.6 正式发布,Spark 1.6 包含 1000+ 分支,主要是三个大方面的改进:性能提升,新的 Dataset API 和数据科学功能的扩展。这是社区开发非常重要的一个里程碑:Spark 贡献者人数突破 1000 人,比 2014 年多一倍。 性能提升 根据 Apache Spark 官方 2015 年 Spark Survey,有 91% 的用户想要提升 Spark 的性能。 Parquet 性能 自动化内存管理 流状态管理速度提升 10X Dataset API Spark 团队引入了 DataFrames。 新的...

9
43
发表了资讯
2015/12/21 00:00

Apache Spark 1.6 预览版:更简便的搜索

日前,Databricks公司发布了一个Apache Spark主要版本的可用性。除了可用性、可移植性等几个新的特性外,本次发布还提供了对尚未发布的Apache Spark 1.6预览。Databricks用户有机会在官方发布之前试用Spark 1.6的特性,包括在Databricks集成空间内轻松搜索Spark文档、点击几个按钮便能在不同Databricks实例间共享Databricks的notebooks。在本博文中,将对这些令人兴奋的新特性提供一个简短的介绍。 Apache Spark 1.6预览 Patric...

4
20
发表了资讯
2015/11/16 00:00

Apache Spark 1.5.2 发布,开源集群计算环境

Apache Spark 1.5.2 发布,此版本是个维护版本,包括 Spark 一些领域的稳定性修复,主要是:DataFrame API, Spark Streaming, PySpark, R, Spark SQL 和 MLlib。详细改进内容请看更新日志。 Spark 1.5.2 现已提供下载。 Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提...

2
26
发表了资讯
2015/10/05 00:00

Apache Spark 1.5.1 发布,开源集群计算环境

Apache Spark 1.5.1 发布, 详细更新信息请查看: http://s.apache.org/spark-1.5.1 下载地址如下: http://spark.apache.org/downloads.html Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现...

1
13
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2018/09/13 17:26

Spark之spark shell

前言:要学习spark程序开发,建议先学习spark-shell交互式学习,加深对spark程序开发的理解。spark-shell提供了一种学习API的简单方式,以及一个能够进行交互式分析数据的强大工具,可以使用scala编写(scala运行与Java虚拟机可以使用现有的Java库)或使用Python编写。 1.启动spark-shell spark-shell的本质是在后台调用了spark-submit脚本来启动应用程序的,在spark-shell中已经创建了一个名为sc的SparkContext对象,在4个CPU...

0
0
发表了博客
2019/01/07 13:36

Spark:hive on spark

spark默认会使用基于derby数据库存储元数据的hive,数据文件存储位置由spark.sql.warehouse.dir参数指定(默认为当前目录)。 比如当我们在/spark/目录下调用spark-shell,并且用Dataset的saveAsTable方法持久化一个表后。会发现在/spark目录下多出了: 一个文件:derby.log,记录了derby数据库相关日志信息; 一个目录:metastore_db,derby用于记录hive元数据的数据库; 一个目录:spark-warehouse,Dataset的相关数据文件,默...

0
0
发表了博客
2020/09/05 10:33

Spark核心之Spark Streaming

前面说到Spark的核心技术的时候,有和大家说过,有五大核心技术,不知道大家还记不记得; 给大家回忆下,这五大核心技术:分布式计算引擎Spark Core 、基于Hadoop的SQL解决方案SparkSQL 、可以实现高吞吐量、具备容错机制的准实时流处理系统Spark Streaming、分布式图处理框架Spark GraphX和构建在Spark上的分布式机器学习库Spark MLlib,现在应该有个印象了吧,其它的我就不多说了,今天主要是对Spark Streaming做个简单介绍,...

0
1
发表了博客
2019/08/16 22:58

Spark-01 spark简介

前言:大牛说由spark入手比较合适 1.spark简介 spark是个计算框架,不存东西。MapReduce是Hadoop里面做计算的,也不存东西,出现比spark早,自从spark活跃起来后mc的很多程序就被重写为spark程序了。spark的api使用起来也比较简单。   spark起源于2009年加州大学伯克利分校的实验室,20年成为开源项目,2014年就变成了apache的顶级项目。这里用spark2.3. 2,spark与MapReduce(mc)的比较 2-1 优缺点比较   yarn、Mapreduce...

0
2
发表了博客
2019/02/19 16:14

Spark Standalone spark-default.conf

Example: spark.master spark://master:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://namenode:8021/directory spark.serializer org.apache.spark.serializer.KryoSerializer spark.driver.memory 5g spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three" spark.eventLog.enabled true spark.eventLog.dir hdfs://flashHadoop/spark/log spark.eventLog.compress true...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于DevOps专区
2020/06/08 10:57

SparkException: Job aborted due to stage failure: Task serialization failed:

Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.intellij.rt.execution.CommandLineW...

1
0
发表于服务端专区
2020/02/25 09:38

任务在spark 上运行,报错Container exited with a non-zero exit code 13. Error file: prelaunch.err. Last 4096 bytes

main : run as user is kafka main : requested yarn user is kafka Getting exit code file... Creating script paths... Writing pid file... Writing to tmp file /data/yarn/nm2/nmPrivate/application_1580700853621_6464/container_1580700853621_6464_02_000001/container_1580700853621_6464_02_000001.pid.tmp Writing to cgroup task files... Creating local dirs... Launching container... Getting exit code file...

2
0
发表了问答
2020/08/24 22:30

java.lang.IllegalArgumentException:Expected exactly one path to be specified

CDH6.3.2集群上跑spark任务,出现此类问题,测试spark可以跑hive表数据。完全找不到解决方案,求高手解答,膜拜!

2
0
发表于DevOps专区
2020/05/28 17:25

IllegalAccessError: tried to access .Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat

java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.intellij.rt.execution.CommandLineWrapper.main(CommandLineWrap...

1
0
发表于大前端专区
2020/05/28 17:21

HiveConf of name hive.strict.checks.cartesian.product does not exist

hive.conf.HiveConf(line:2753) : HiveConf of name hive.strict.checks.cartesian.product does not exist Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.j...

1
0
发表于AI & 大数据专区
2019/12/09 18:24

SparkException: No port number in pyspark.daemon's stdout , pyspark提交到yarn上报错了

Error from python worker: : No module named pyspark PYTHONPATH was: /data/yarn/nm2/usercache/kafka/filecache/203/__spark_libs__4982455303173280785.zip/spark-core_2.11-2.4.0-cdh6.3.0.jar org.apache.spark.SparkException: No port number in pyspark.daemon's stdout at org.apache.spark.api.python.PythonWorkerFactory.startDaemon(PythonWorkerFactory.scala:204) at org.apache.spark.api.python.PythonWorke...

1
0
发表于AI & 大数据专区
2020/03/06 14:13

Can't get Master Kerberos principal for use as renewer     a

n" java.io.IOException:Can't get Master Kerberos principal for use as renewer at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:116) at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesInternal(TokenCache.java:100) at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodes(TokenCache.java:80) at org.apache...

1
0
发表于AI & 大数据专区
2020/05/09 11:02

Spark on yarn 在创建Hbase的Connection时,报 ClassNotFoundException

ConnectionFactory.createConnection(configuration) 在执行以上方法时候报的错误: Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.backoff.ClientBackoffPolicyFactory$NoBackoffPolicy 经检查,在打包sparkstreaming时已经依赖上hbase-client。提交方式是yarn-client, 请问问题出在哪?...

5
0
发表于运维专区
2020/04/14 10:53

之前一个老哥帮我写的的脚本,可以杀死可见的sparksubmit进程,但是无法杀死 yarn上的服务器的spark yarn任务???

之前一个老哥帮我写的的脚本,可以杀死可见的sparksubmit进程,但是无法杀死 yarn上的服务器的spark yarn任务??? for pid in `ps -ef | grep -v grep | grep SparkSubmit | awk '{print $2}'`; do kill -9 $pid; done

2
0
发表于开发技能专区
2019/12/02 15:27

pyspark提交任务到yarn上报错了, IllegalStateException: User did not initialize spark context!

INFO memory.MemoryStore: Block broadcast_2 stored as values in memory (estimated size 432.0 B, free 912.3 MB) 19/12/02 15:28:09 INFO memory.MemoryStore: Block broadcast_2_piece0 stored as bytes in memory (estimated size 29.4 KB, free 912.3 MB) 19/12/02 15:28:09 INFO storage.BlockManagerInfo: Added broadcast_2_piece0 in memory on slave2:38988 (size: 29.4 KB, free: 912.3 MB) 19/12/02 15:28:09 INF...

1
0
发表于AI & 大数据专区
2020/03/12 10:05

Unrecognized Hadoop major version number: 3.0.0-cdh6.3.0

Caused by: java.lang.ExceptionInInitializerError at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:105) at org.apache.spark.sql.hive.client.HiveClientImpl.newState(HiveClientImpl.scala:153) at org.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:118) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAcces...

3
0
发表于开源治理专区
2009/11/30 21:20

详细介绍 Apache Licence 2.0 协议

Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似,同样鼓励代码共享和尊重原作者的著作权,同样允许代码修改,再发布(作为开源或商业软件)。需要满足的条件也和BSD类似: 需要给代码的用户一份Apache Licence 如果你修改了代码,需要在被修改的文件中说明。 在延伸的代码中(修改和有源代码衍生的代码中)需要带有原来代码中的协议,商标,专利声明和其他原来作者规定需要包含的说明。 如果再发布的产...

37
62
发表于DevOps专区
2020/03/24 17:38

sql.SQLException: No suitable driver 报错了,咋整

r: Started o.s.j.s.ServletContextHandler@f25f48a{/static/sql,null,AVAILABLE,@Spark} 20/03/24 17:37:28 INFO state.StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint Exception in thread "main" java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$6.apply(JDBCOpt...

1
0
发表于软件架构专区
2020/03/17 13:18

IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.internal.SessionState': 出现错误??

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Met...

1
0
发表于服务端专区
2020/02/26 11:21

javax.crypto.IllegalBlockSizeException: Data must not be longer than 256 bytes

at org.apache.spark.executor.Executor$TaskRunner$$anonfun$10.apply(Executor.scala:402) at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1360) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:408) ... 3 more Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMe...

2
0
发表于DevOps专区
2020/02/24 14:19

spark.streaming.scheduler.JobScheduler(line:91) : Error generating jobs for time 1582525266000

on in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.intellij.rt.execution.CommandLineWrapper....

1
0
发表于服务端专区
2020/02/24 11:06

Loading class `com.mysql.jdbc.Driver'. This is deprecated.

overriding auto.offset.reset to none for executor 2020-02-24 11:10:20,670 WARN --- [main] org.apache.spark.streaming.kafka010.KafkaUtils(line:66) : overriding executor group.id to spark-executor-11group11 2020-02-24 11:10:20,671 WARN --- [main] org.apache.spark.streaming.kafka010.KafkaUtils(line:66) : overriding receive.buffer.bytes to 65536 see KAFKA-3135 Loading class `com.mysql.jdbc.Driver'....

1
0
发表于大前端专区
2020/02/24 10:03

调spark sql hive报错了 : serious problem

: HiveConf of name hive.strict.checks.cartesian.product does not exist Exception in thread "main" org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree: Exchange SinglePartition +- *HashAggregate(keys=[], functions=[partial_count(1)], output=[count#48L]) +- HiveTableScan CatalogRelation `default` at org.apache.spark.sql.execution.WholeStageCodegenExec.doExecute(WholeStag...

1
0
发表于运维专区
2020/02/16 23:41

maven报错了

Cleaning up unclosed ZipFile for archive C:\Users\Administrator\.m2\repository\org\apache\spark\spark-sql_2.11\2.4.0\spark-sql_2.11-2.4.0.jar [INFO] - 部分xml dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artif...

1
0
发表于运维专区
2020/01/19 16:43

SyntaxError: Non-ASCII character '\xc2' in file

File "/root/test/pymq.py", line 8 SyntaxError: Non-ASCII character '\xc2' in file /root/test/pymq.py on line 8, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details 20/01/19 16:46:58 INFO util.ShutdownHookManager: Shutdown hook called 20/01/19 16:46:58 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-2b1a020f-9011-460e-861f-31a28531f375...

1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
5 评论
650 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部