消息关闭
    暂无新消息!

spark程序实际环境是如何运用的

问题作者 : 小小女w2017-05-07发布

现在已经掌握了spark的编程
但是程序写出来提交运行只是单次的

spark streaming还能一直监听运行,spark sql执行一次就结束了

真实项目中是如何运行spark程序的?
写个脚本,定时向集群submit进行计算?还是其他什么自动化方法?

不可能编写的程序只执行一次就不用了吧
同一套程序如何进行反复的计算?

比如要分析日志,每天都有新的日志产生存放在HDFS上,怎样让spark程序每天重复提交并分析日志信息且不重复分析?

比较困惑!


1个回答

︿ 0

把日志数据结构化存储(HBase,Hive或者HDFS的文件格式),然后根据时间范围进行条件查询。
Spark批处理作业可以用Quartz框架或者Oozie框架进行调度。