消息关闭
    暂无新消息!
应用程序提交到spark集群中 一般是怎么做的  

6个回答

︿ 3
这种提交方式,不是很方便吧 ;  怎么在程序里面 提交呢?
︿ 2
类似这种:
String tmp = "/home/hadoop/spark-spring-0.0.1-SNAPSHOT.jar";
args = new String[]{
"--master","spark://master:7077",
"--deploy-mode","cluster",
"--name","test java submit job to spark",
"--class","br.com.spark.JavaWordCount",
"--executor-memory","512m",
tmp
};
SparkSubmit.main(args);
但是 我没有跑通,这是在我本地开发环境提交的;
︿ 1
https://github.com/spark-jobserver/spark-jobserver

Submit your java spark job through REST API.
︿ 1
${SPARK_HOME}/bin/spark-submit  --class [main方法类全名] --deploy-mode [client/cluster] --master spark://[masterIP:port] [jar包路径] [参数]
参见官方文档
︿ 0
在程序里面提交,好像要通过org.apache.spark.launcher.SparkLauncher类,变成jar包,采用java命令方式提交Spark应用,具体你可以Google看看