Spark运行示例求Pi程序时报错

Michael_Hsu 发布于 2017/09/09 20:46
阅读 58
收藏 0

照着网上的那些教程,我已经把相关软件都安装了,能打开hadoop和spark的UI界面,并且能够用hadoop集群求出pi,但是用spark去求时,无论是启动spark-shell还是求Pi,都报错如下:

我已经调了好几天了,实在是没有办法了,跪求各位大神指教啊!!

加载中
0
GestureWei
GestureWei
没有办法连接到master,你看看hadoop这个主机名是否能正确解析,如果不能,自己在/etc/hosts里面手动添加上
Michael_Hsu
Michael_Hsu
回复 @GestureWei : hadoop主机是什么意思,我是小白,比较菜
GestureWei
GestureWei
目前你的运行spark shell或者spark submit连接的都是hadoop这个主机
GestureWei
GestureWei
目前你的运行spark shell或者spark submit连接的都是hadoop这个主机
Michael_Hsu
Michael_Hsu
我的主机名是master,不是hadoop啊
0
蓝风970655147
蓝风970655147

前排坐等, spark-shell都启动不起, 可能是环境哪里出了问题, 重新找个教程装一次, 注意下细节

顺带, 楼主可以提供一下 spark-submit 提交脚本的命令

0
GestureWei
GestureWei
从异常上看,创建SparkContext连接的master节点是hadoop:7077,你要保证这个主机名hadoop能够正确被解析成ip地址,而且是运行了spark standalone的master服务
返回顶部
顶部