spark-java 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
spark-java 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 Web应用开发Web框架
开发厂商
地区 不详
提 交 者 红薯
适用人群 未知
收录时间 2013-11-22

软件简介

spark-java 是一个 Java 的 Web 开发框架,其灵感来自 Sinatra

示例代码:

import static spark.Spark.*;

import spark.*;

public class HelloWorld {

   public static void main(String[] args) {
      
      get(new Route("/hello") {
         @Override
         public Object handle(Request request, Response response) {
            return "Hello World!";
         }
      });

   }

}
展开阅读全文

评论 (0)

加载中
更多评论
暂无内容
发表了博客
2018/02/08 20:32

spark之JDBC开发(实战)

一、概述 Spark Core、Spark-SQL与Spark-Streaming都是相同的,编写好之后打成jar包使用spark-submit命令提交到集群运行应用 $SPARK_HOME/bin#./spark-submit --master spark://Master01:7077 --class MainClassFullName [--files $HIVE_HOME/conf/hive-site.xml] JarNameFullPath [slices] 说明: --master参数用于指定提...

0
0
发表了博客
2018/02/23 11:00

Java进行spark计算

首先在Linux环境安装spark: 可以从如下地址下载最新版本的spark: https://spark.apache.org/downloads.html 这个下载下来后是个tgz的压缩包,解压后spark环境就安装好了 或者从github上下载: #git clone git://github.com/apache/spark.git 安装好后,进入到spark的根目录,就可以通过spark提供的一些脚本命令行来用...

0
0
发表了博客
2018/12/07 09:16

spark jvm

-XX:+UnlockCommercialFeatures -XX:+FlightRecorder -XX:StartFlightRecording=filename=executor.jfr,dumponexit=true,settings=profile...

0
0
发表了博客
2019/09/30 16:50

Spark的Java开发环境构建

  为开发和调试SPark应用程序设置的完整的开发环境。这里,我们将使用Java,其实SPark还支持使用Scala, Python和R。我们将使用IntelliJ作为IDE,因为我们对于eclipse再熟悉不过了,这里就使用IntelliJ进行练练手,所以我们也将使用Maven作为构建的管理器。在本篇结束时,您将了解如何设置IntelliJ,如何使用Maven管理依...

0
0
发表了博客
2018/02/05 10:13

spark之java程序开发

spark之java程序开发 1、Spark中的Java开发的缘由:   Spark自身是使用Scala程序开发的,Scala语言是同时具备函数式编程和指令式编程的一种混血语言,而Spark源码是基于Scala函数式编程来给予设计的,Spark官方推荐Spark的开发人员基于Scala的函数式编程来实现Spark的Job开发,但是目前Spark在生产上的主流开发语言仍然...

0
0
发表于AI & 大数据专区
2019/05/12 01:22

Spark原理及Java操作

Spark与MapReduce Spark 运算比 Hadoop 的 MapReduce 框架快的原因是因为 Hadoop 在一次 MapReduce 运算之后,会将数据的运算结果从内存写入到磁盘中,第二次 Mapredue 运算时在从磁盘中读取数据,所以其瓶颈在2次运...

0
0
发表了博客
2019/06/01 18:52

Spark(五十):使用JvisualVM监控Spark Executor JVM

引导 Windows环境下JvisulaVM一般存在于安装了JDK的目录${JAVA_HOME}/bin/JvisualVM.exe,它支持(本地和远程)jstatd和JMX两种方式连接远程JVM。 jstatd (Java Virtual Machine jstat Daemon)——监听远程服务器的CPU,内存,线程等信息 JMX(Java Management Extensions,即Java管理扩展)是一个为应用程序、设备、系统...

0
0
发表了博客
2018/04/10 00:12

spark学习笔记-java调用spark简单demo

开发环境: win10+idea+jdk1.8+scala2.12.4 具体步骤: 编写scala测试类 object MyTest { def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setAppName("MyTest") conf.setMaster("local") val sc = new SparkContext(conf) val input = sc.textFile("file:///F:...

0
0
发表了博客
2018/02/12 13:22

Spark scala和java的api使用

1、利用scala语言开发spark的worcount程序(本地运行) package com.zy.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //todo:利用scala语言来实现spark的wordcount程序 object WordCount { def main(args: Array[String]): Unit = { //1、创建SparkConf对...

0
0
2018/10/19 10:12

java写Spark程序之PairFaltMapFunction

PairFaltMapFunction 类似java8的flatmap方法,会返回一个value为集合的map. 在这里需要注意的是实现PairFaltMapFunction Java版本 spark2.0以下 JavaPairRDD<String, Integer> wordPairRDD = lines.flatMapToPa......

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
04/14 10:11

请问spark最新的2.4.5版本底层还需要依赖hive做数仓吗,可否只部署spark而抛弃hive

我今天翻阅spark文档,发现文档只提到了可以用hive做数据源,但没说一定得安装hive,由于最近在探索利用大数据做报表,所以想问下spark能不能直接脱离hive,完成数仓工作

1
0
发表于服务端专区
2019/10/29 11:33

ElasticSearch采用Java Low Level REST Client根据ID删除数据量过万的时候报错

根据ID删除数据,以下是删除代码 当数据量过大时就报错,不知是否因为并发量过大导致的

2
0
发表了问答
2016/04/12 10:53

使用idea打包spark jar后运行出错

在idea上使用scala插件,创建scala-maven工程成功运行,打jar包出错 代码: package com.chanct.idap.ssm.spark import com.chanct.idap.ssm.common.{HbaseUtils, PlatformConfig} import org.apache.hadoop.hbase.TableName import org.apache.hadoop.hbase.client.Put import org.apache.hadoop.hbase.util.Bytes im...

1
0
发表了问答
2015/03/28 10:56

org.apache.spark.SparkException: Task not serializable

我在实现spark从kafka里读取数据,然后入Mongodb,出现以下的问题: org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:166) at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleaner.scala:158) at org.apache.spar...

3
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
16 收藏
分享
返回顶部
顶部