︿ 0 赞 val fileRDD = sc.textFile(fileName) fileRDD.foreachPartition(f => { f.foreach(line => { // 拆分一行数据,并写成文件 }) }) 2017-05-13回答 0 评论 大新 暂无评论! 提交评论
︿ 0 赞 好奇怪的需求,就是想利用,spark完成一个多板并发写文件么?试了一下,类似楼上的回答,执行没有问题,但是使用本地IO,是不会有任何输出的。没有试用hdfs会什么结果,maybe可能有输出 2017-10-19回答 0 评论 肥仔昌 暂无评论! 提交评论