消息关闭
    暂无新消息!
win7下运行的scala程序无法连接到Linux中的spark集群,老是报这样的错误:
16/01/06 10:59:32 INFO AbstractConnector: Started SelectChannelConnector@0.0.0.0:4040
16/01/06 10:59:32 INFO Utils: Successfully started service 'SparkUI' on port 4040.
16/01/06 10:59:32 INFO SparkUI: Started SparkUI at http://Silence-PC:4040
16/01/06 10:59:32 INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@10.1.170.201:7077/user/Master...
16/01/06 10:59:33 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkMaster@10.1.170.201:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
16/01/06 10:59:52 INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@10.1.170.201:7077/user/Master...
16/01/06 10:59:52 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkMaster@10.1.170.201:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
16/01/06 11:00:12 INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@10.1.170.201:7077/user/Master...
16/01/06 11:00:12 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkMaster@10.1.170.201:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
16/01/06 11:00:32 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
16/01/06 11:00:32 WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
16/01/06 11:00:32 ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.

2个回答

︿ 3
我也遇到了这个问题,怎么解决呀?我的IDEA连接集群就报这个错误,
︿ 0
试试把$SPARK_HOME/conf/下,自己配置好的xml复制到项目的src/main/resources目录下(如果你的项目是基于mave构建的)。