消息关闭
    暂无新消息!
安装的版本分别是:
Ambari: 2.4.1
Spark:  2.0.0
Hadoop: 2.7.3
ZooKeeper: 3.4.6


安装完成后用yarn方式提交运行Spark程序是没有问题的,因为项目需要,现在想使用Spark自己的Standalone方式提交任务,请问需要怎么配置后可以实现呢?  自己按照独立Spark的方式 配置后,运行spark-shell和自己的程序一直报错: 
ERROR StandaloneSchedulerBackend: Application has been killed. Reason: Master removed our application: FAILED

The currently active SparkContext was created at:
(No active SparkContext.)

java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

ambari安装spark的结果:
 

3个回答

︿ 0
1) You need to start the Spark Master demon.
2) You need to start the Spark Workers on all your slave nodes.
3) Submit your application using "--master spark://master:7077", or point to this master URL in your application.
4) Last but no least, why do you want to use standalone mode, if you already have YARN? This is a strange requirement