需求:
一个特别大的文件进行group,且group多次,比较浪费时间,所以 将这个大文件切割为多个小文件,可以同时group(需要多核CPU同时工作)
定义:
大文件 :text.txt
命令: split (一般系统都有)
注意:
此命令是按行切割,即需要提前定义需要将多少行分为一个文件
做法:
首先wc -l 查看这个大文件有多少行 比如有 一万行
那么我现在把他分为10个文件来说
一个文件就是一千行
那么命令就是: (源文件依然存在且不少数据)
split -l 1000 text.txt -d -a 4 ceshi_
命令详解:
-l 指定一个文件有多少行 (1000行)
text.txt 被分割的原文件名
-d 生成的文件以数字命名 (默认为英文,按照英文字母排序,不直观)
-a 生成的新文件名除了自定的前缀以外,生成 几位(4位)
ceshi_ 这个自定义生成文件的前缀
实际举例:
[root@xor-vhreport android]# wc -l 1.txt
40 1.txt
文件有40行
split -l 10 1.txt -d -a 4 text_
将这个文件10行分割为一个文件
以4位数字结尾
前缀位text_
[root@xor-vhreport android]# ls
1.txt text_0000 text_0001 text_0002 text_0003
执行完毕之后就可以看到,被分为了四个 文件
源文件没有被任何破坏和少数据
网友评论