Apache Spark 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Apache Spark 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: BSD
开发语言: Scala 查看源码 »
操作系统: 跨平台
开发厂商: Apache
收录时间: 2012-01-05
提 交 者: bear256

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。

一个简单的计算:

file = spark.textFile("hdfs://...")
 
file.flatMap(line => line.split(" "))
    .map(word => (word, 1))
    .reduceByKey(_ + _)
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Apache Spark 的相关博客

Spark学习之Spark安装

Spark安装 spark运行环境 spark是Scala写的,运行在jvm上,运行环境为java7+ 如果使用Python的API ,需要使用Python2.6+或者P...

Spark核心之Spark Streaming

前面说到Spark的核心技术的时候,有和大家说过,有五大核心技术,不知道大家还记不记得; 给大家回忆下,这五大核心技术:分布...

Spark(一)Spark简介

一、官网介绍 1 什么是Spark 官网地址:http://spark.apache.org/ Apache Spark 是专为大规模数据处理而设计的快速通用的计算...

Spark之spark shell

前言:要学习spark程序开发,建议先学习spark-shell交互式学习,加深对spark程序开发的理解。spark-shell提供了一种学习API的...

Spark:hive on spark

spark默认会使用基于derby数据库存储元数据的hive,数据文件存储位置由spark.sql.warehouse.dir参数指定(默认为当前目录)。...

Spark Standalone spark-default.conf

Example: spark.master spark://master:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://namenode:8021/directo...

Spark原理 | 初学Spark

什么是Spark? Spark是一个分布式计算引擎,2009年诞生于UC伯克利的AMPLab,2010年开源并于2013年成为Apache顶级项目。 Spar...

Spark-01 spark简介

前言:大牛说由spark入手比较合适 1.spark简介 spark是个计算框架,不存东西。MapReduce是Hadoop里面做计算的,也不存东西,出...

[Spark] Spark 安装配置

原文地址:https://www.cnblogs.com/memento/p/9148732.html Windows 上的单机版安装 下载地址:http://spark.apache.org/dow...

Spark

Spark 2.x管理与开发 ==========Spark Core========== 一、什么是Spark?(官网:http://spark.apache.org) 1、什么是Spark...

评论 (5)

加载中
重名了吧Spark Google Spark
2013/11/22 09:17
回复
举报
高性能 大数据 分布式 。。高大上 #Apache Spark#
2016/01/22 16:36
回复
举报
spark 1.6.1发布了 #Apache Spark#
2016/03/11 12:53
回复
举报
2016/05/17 19:01
回复
举报
2016/07/13 13:20
回复
举报
更多评论
5 评论
646 收藏
分享
返回顶部
顶部