0
赞
val fileRDD = sc.textFile(fileName)
fileRDD.foreachPartition(f => {
f.foreach(line => {
// 拆分一行数据,并写成文件
})
})从一个文件中读入内容作为rdd,希望将该文件的每一行都重新存为另一个文件，文件路径为由该行的第一个单词决定，请问该如何编程？
2个回答
大新
0
赞
好奇怪的需求，就是想利用，spark完成一个多板并发写文件么？
试了一下，类似楼上的回答，执行没有问题，但是使用本地IO，是不会有任何输出的。
没有试用hdfs会什么结果，maybe可能有输出
肥仔昌 
