美文网首页
Linux切割与合并文件

Linux切割与合并文件

作者: 不爱吃饭的小孩怎么办 | 来源:发表于2019-09-26 15:48 被阅读0次

大文件即使压缩后也非常庞大,需要切割进行传输,到目标主机上再进行合并。
切割命令:
split 50M BigData.dat spBigData.dat
会根据文件大小生成 spBigData.dataaa、spBigData.dataab、spBigData.dataac、spBigData.dataad......

合并命令:
cat spBigData.data* > BigData.data

根据行数进行切割,针对日志或者文本类文件比较好,但其实文本类文件最好压缩后传送,压缩后又变成了二进制文件,所以split直接按文件大小进行切割最实用。

其它参数,比如控制后缀长度:
** -a, --suffix-length=N
使用的后缀的长度,默认长度为2,例如'aa','ab'等后缀,其长度就是2。上面的如果不指定4,就会报错 Output file suffixes exhausted
**
-b, --bytes=SIZE
指定每个输出文件片段的大小。
-C, --line-bytes=SIZE
指定每个输出文件片段的最大行字节。
-d, --numeric-suffixes
指定输出文件片段后缀为数字而不是默认的字母形式。
-l, --lines=NUMBER
指定每个输出文件片段的行数。

比如按两万行进行拆封,可以最多支持2W*10000行记录:

split -d -l 20000 -a 4 big/custr.del  small/custr.del_

相关文章

  • Linux切割与合并文件

    大文件即使压缩后也非常庞大,需要切割进行传输,到目标主机上再进行合并。切割命令:split 50M BigData...

  • Linux文件切割与合并

    在使用容量有限的介质传输大文件时(比如U盘、光盘容量小于文件大小),这时候就需要把大文件切割后,再多次传递,最后再...

  • linux文件切割合并

    有的时候在移动文件的时候,会出现文件过大的错误,这时候就需要将文件切割的小一点移动过去再进行拼接。 命令参数: 1...

  • Java IO流(合并流和切割文件)

    合并流 切割文件 合并文件

  • linux下文件的切割与合并

    文件切割 split 文件合并 cat 日常操作中,难免会碰到需要拷贝比较大的文件,某些时候因为u盘的文件系统,导...

  • IO流之合并流

    SequenceInputStream合并流 可将多个读取流合并,通常用于大文件切割后的合并; 文件的分割 文件的合并

  • 文件的切割与合并

    文件的切割:创建一个输入流来读取文件,创建多个输出流来写碎片文件,写完一个输出流就关一个。 文件的关闭:文件的合并...

  • Android 大文件切割与合并

    前言: 由于公司的业务,硬生生的把ios开发的我,掰成了android!关于上传文件的需求处理,做了一个Java的...

  • iOS命令压缩文件

    Mac大文件分包切割与合并 1. tar czvf testfile.tar.gz testfile.doc cd...

  • 2019-03-09

    IO流之键盘录入,视频文件切割合并操作总结 键盘录取 媒体文件的切割技术将源文件以及切割的一些信息也保存起来随着碎...

网友评论

      本文标题:Linux切割与合并文件

      本文链接:https://www.haomeiwen.com/subject/pcnluctx.html