代码执行shell提交spark

社区管理员 发布于 2016/04/23 23:37
阅读 448
收藏 1

因为需求,需要使用java 代码扫描数据库任务,然后执行shell脚本,脚本里写的是spark-submit 命令,提交spark任务,然后根据spark任务的结果反馈到数据库。

现在遇到的问题是

1:spark任务执行完之后,Java 代码一直都没停止,shell一直在运行。

2:Java 也没办法判断spark是否成功或者失败。

我的shell 如下:

#!/usr/bin/env bash

echo '执行app list 提取任务'

tag_id=$1

#执行任务
spark-submit --class com.yooshu.dmp.main.StartMain  \
--master yarn-cluster \
--num-executors 30  \
--driver-memory 2g  \
--executor-memory 2g  \
--executor-cores 2  \
--queue=tool /tools/spark/jars/applist/app-analysis-main-1.0.jar $tag_id



有什么办法可以解决么?

或者有什么替代方案?


加载中
0
atrandom
atrandom
第二句话 写得有问题 改下 写个 if 语句判断下 执行的情况
社区管理员
if [ $? -eq 0 ];then echo A else echo B fi 是这样的么?我对shell并不是很熟
返回顶部
顶部