消息关闭
    暂无新消息!

spark jar 读取hdfs文件错误

问题作者 : vbn仔2017-08-09发布
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, 10.10.10.154): org.apache.hadoop.HadoopIllegalArgumentException: The short-circuit local reads feature is enabled but dfs.domain.socket.path is not set.


Caused by: org.apache.hadoop.HadoopIllegalArgumentException: The short-circuit local reads feature is enabled but dfs.domain.socket.path is not set.

求解决办法

5个回答

︿ 2
spark-submit 有个参数 --properties-file File Path to a file from which to load extra properties. If not specified, this will look for conf/spark-defaults.conf. 机器上将这个文件注释成temp了,系统无法查看参数,导致出现上述问题
︿ 0
hdfs-site.xml中
  <property>
    <name>dfs.domain.socket.path</name>
    <value>/var/run/hdfs-sockets/dn</value>
  </property>
已经设置过了
但是路径中的dn文件无法打开,与这个有关系吗?
如果有关,那么正常的dn文件应该是什么内容?长什么样啊?
︿ 0
普通的wordcount案例,IntelliJ idea写的打包成jar 使用

bin/spark-submit \
--class WCount \
--master spark://is-nn-01:8888 \
--name wordcountByScala \
--executor-memory 1G \
--total-executor-cores 2 \
/spark_test/WordCount.jar  \
hdfs://is-nn-01:8020/spark_test/tst.txt

提交后提示警告