消息关闭
    暂无新消息!
各位大神,我现在自己动手编写了一个scala程序,想放在放在linux服务器上运行,但是出现了很奇怪的问题:

我的运行命令是这样的(在jar包所在目录下运行):

java -classpath "./spark-test.jar:./spark-assembly-1.1.0-cdh5.2.0-hadoop2.5.0-cdh5.2.0.jar:./hadoop-hdfs-2.5.0-cdh5.2.0.jar:." sparktest.Test

其中spark-test.jar是我自己编写的scala程序,后面的两个jar包是我在这个服务器上找到的jar包

当我在程序里面把SparkContext设置为local的时候运行是没有问题的

但是当我想把SparkContext换成集群的spark://shzx002:18080的时候就会出现错误:

14/12/04 17:17:41 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
14/12/04 17:17:42 INFO AppClient$ClientActor: Connecting to master spark://shzx002:18080...
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]
14/12/04 17:17:42 WARN AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@shzx002:18080: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@shzx002:18080]

这个集群不是我自己配置的,再加上我接触不久,所以不是很懂……集群的地址应该是没什么问题的

我不知道是什么原因造成的,如何才能解决呢?在网上查了很多的东西,但是都没用……先谢过各位了

10个回答

︿ 1
楼上说的是一个很重要的错误,别的还有可能集群设置出现各种各样的问题,建议贴上觉得有问题和疑惑的配置
︿ 1
你好。。。博主,我也遇到了相同的问题,请问你是怎么解决的 。。如果看到请一定回复下。。。我的qq389923309 能不能加好友讨论下。
︿ 1
没有配置SPARK_EXECUTOR_MEMORY参数,默认会使用1G内存,所以会出现内存不足,从而出现上面日志报的警告信息。

所以解决办法是在spark-env.sh中添加如下参数:

export SPARK_EXECUTOR_MEMORY=100M
︿ 1
1.端口错误引起的。

2.你的HOST,也就是域名配置有问题 

3.内存方面有问题
   
︿ 0
独立部署模式下,client模式的spark master默认端口的7077,cluster模式端口是6066,端口搞错了,不是spark web ui 的端口
︿ 0
 check your cluster UI to ensure that workers are registered and have sufficient memory
应该是你uri不对。检查配置