消息关闭
    暂无新消息!
一个文件叫file_all.txt,行数很多,有上百万件,现在想分割成8个文件
文件以逗号作为分隔符,根据第二个数值型项目,除以8,如果余数为1,那么这行就写到file_1.txt里,如果刚好整除,那就写到file_0.txt里

我用while循环,先用sed取出当前循环出来的这行,然后用awk取出这行的第二个项目,再计算余数,然后把这行写入对应余数的文件里

效果是可以达到,但好像速度太慢了,平均一秒钟才能做10条数据,上百万条那要做一天了

求高手指教一个效率高的写法,万分感谢

0个回答

暂无回答!