spark sql用java代码运行时参数driver-url的地址非服务器地址

malie0 发布于 05/07 16:59
阅读 128
收藏 0

开源之夏第三届火热来袭,高校学生参与赢万元奖金!>>>

idea上提交spark代码执行时候服务器work日志显示提交的任务参数中driver-url值是“spark://CoarseGrainedScheduler@客户端计算机名:61154”,执行没有返回结果,然后无限循环。而在服务器上用shell执行的时候driver-url的值就是服务器的ip,执行能成功。个人认为是这个参数中的服务地址不对造成执行失败,尝试在代码中用spark.driver.host或者spark.driver.bindAddress绑定服务器ip,但是运行是提示“Cannot assign requested address: bind: Service 'sparkDriver' failed after 16 retries”,想用System.setProperty配置环境变量来改变读取本机名,但是也没起作用,不知道是不是参数名设置的不对。另外看到idea的ui服务的4040访问的ip也成了客户端本机的机器名,不知道在哪里设置可以变成服务器的ip?

加载中
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部