linux: split

作者: 随风化作雨 | 来源:发表于2017-11-30 11:27 被阅读39次

有个文件要处理,因为很大,所以想把它切成若干份,每份N行,以便并行处理。怎么搞呢?查了下强大的shell,果然有现成的工具--split。

下面记录下基本用法:
split [-bl] file [prefix]

参数说明:
-b, --bytes=SIZE:对file进行切分,每个小文件大小为SIZE。可以指定单位b,k,m。
-C,--bytes=SIZE:与-b选项类似,但是,切割时尽量维持每行的完整性。
-l, --lines=NUMBER:对file进行切分,每个文件有NUMBER行。
prefix:分割后产生的文件名前缀。

示例:
假设要切分的文件为test.2012-08-16_17,大小1.2M,12081行。

split -l 5000 test.2012-08-16_17  

生成xaa,xab,xac三个文件。

wc -l 看到三个文件行数如下:

5000 xaa
5000 xab
2081 xac
12081 总计
split -b 600k test.2012-08-16_17  

生成xaa,xab两个文件

ls -lh 看到 两个文件大小如下:

600K xaa
554K xab
split -b 500k test.2012-08-16_17 example  

得到三个文件,文件名的前缀都是example

ls -lh 看到文件信息如下:

500K exampleaa
500K exampleab
154K exampleac

相关文章

  • Linux命令之文件管理 (三十七)

    Linux split命令 Linux split命令用于将一个文件分割成数个。 该指令将大文件分割成较小的文件,...

  • linux split

    split命令可以将一个大文件分割成很多个小文件,有时需要将文件分割成更小的片段,比如为提高可读性,生成日志等。 ...

  • linux: split

    有个文件要处理,因为很大,所以想把它切成若干份,每份N行,以便并行处理。怎么搞呢?查了下强大的shell,果然有现...

  • linux split

    split 能根据行或大小拆分指定文件。 语法: split [OPTION]... [INPUT [PREFIX...

  • linux split

    split 按照多少行切分,按照一行一个文件 后缀 指定拆分后生成顺序文件名为数字方式,从01开始计数 前缀,写在...

  • linux 文件打包分片及在windows下合并解压

    linux下文件打包后分片tar -cf - filepath | split -b 1024m -d -a 4 ...

  • linux split拆分文件

    http://c.biancheng.net/linux/split.html 15 分钟之后,我要去朋友家聚会。...

  • Pyp–一个替代sed,awk的文本处理工具

    Linux上文本处理工具虽不少,像cut,tr,join,split,paste,sort,uniq,sed,aw...

  • 2.11 分割文件和数据

    《Linux Shell 脚本攻略(第 2 版)》读书笔记 split 指定分割文件大小时,除了 k(KB)后缀,...

  • Linux命令学习手册-split

    功能 将文件分割成多片。 描述 将输入文件 INPUT 分割,输出固定大小的文件片段 PREFIXaa , PRE...

网友评论

    本文标题:linux: split

    本文链接:https://www.haomeiwen.com/subject/ybqvbxtx.html