1
回答
Spark读取HA模式HDFS Caused by: java.net.UnknownHostException: masters
滴滴云服务器,限时包月0.9元,为开发者而生>>>   

Spark版本:1.6.1

Hadoop版本:2.6.2

HDFS模式为:HA(正常使用,没有任何问题)

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://masters</value>
</property>

<!--指定hdfs的nameservice为masters,需要和core-site.xml中的保持一致 -->
<property>
  <name>dfs.nameservices</name>
  <value>masters</value>
</property>

使用Spark读取HDFS文件,报错Caused by: java.net.UnknownHostException: masters

val line = sc.textFile("hdfs://masters/user/hadoop/wordcount/input")

尝试解决方法:

1. 拷贝core-site.xml和hdfs-site.xml到$SPARK_HOME/conf/目录下:失败

2. 在$SPARK_HOME/conf/spark-default.conf添加:失败

spark.files file:///home/hadoop/work/spark-1.6.1/conf/hdfs-site.xml,file:///home/hadoop/work/spark-1.6.1/conf/core-site.xml
不知道哪位大侠有这方面的经验啊,给个答案吧。

举报
顶部