java写了个spark的 创建的简单的单例,你看行不行?

flink58 发布于 2017/03/20 14:17
阅读 321
收藏 0


import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;

public class SparkUtil {
    
        private SparkUtil() {}  
        
        private    static SparkConf conf =null;
        private   static JavaSparkContext jsc =null;
        private   static   SparkSession spark= null;
        //静态工厂方法   
        public static SparkConf getInstance() {  
             if (conf == null) {    
                 conf =  new SparkConf().setAppName("SparkConf");
                 conf.set("spark.driver.allowMultipleContexts","true");
             }    
            return conf;  
        }  
        
        public static JavaSparkContext getJsc() {  
             if (jsc == null) {    
                 jsc = new JavaSparkContext(SparkUtil.getInstance());
             }    
            return jsc;  
        }  
        
        
        public static SparkSession getSpark() {  
             if (spark == null) {    
                 spark = SparkSession.builder().appName("SparkSession")
                         .config("spark.some.config.option", "some-value")
                         .config("spark.driver.allowMultipleContexts","true")
                         .getOrCreate();
             }    
            return spark;  
        }  
        
        
        public static int  stopJsc() {  
             if (null !=jsc) {
                 jsc.stop();
                 jsc=null;
            }
             
             if (null !=conf) {
                 conf=null;
            }
             
            if (null !=spark) {
                spark.stop();
                spark=null;
             } 
            
            return 1;  
        }  
    }  

加载中
0
GestureWei
GestureWei

看不懂你要干啥……你的应用执行入口呢

flink58
flink58
是的
返回顶部
顶部