美文网首页
大文件切割

大文件切割

作者: 国王12 | 来源:发表于2019-12-31 11:10 被阅读0次

需求:

一个特别大的文件进行group,且group多次,比较浪费时间,所以 将这个大文件切割为多个小文件,可以同时group(需要多核CPU同时工作)

定义:

大文件 :text.txt
命令:     split (一般系统都有)

注意:

此命令是按行切割,即需要提前定义需要将多少行分为一个文件

做法:

首先wc -l 查看这个大文件有多少行  比如有  一万行
那么我现在把他分为10个文件来说
一个文件就是一千行

那么命令就是: (源文件依然存在且不少数据)

split -l 1000 text.txt -d -a 4 ceshi_

命令详解:

-l  指定一个文件有多少行 (1000行)
text.txt  被分割的原文件名
-d  生成的文件以数字命名 (默认为英文,按照英文字母排序,不直观)
-a 生成的新文件名除了自定的前缀以外,生成 几位(4位)
ceshi_   这个自定义生成文件的前缀

实际举例:

[root@xor-vhreport android]# wc -l 1.txt 
40 1.txt
文件有40行
split -l 10 1.txt -d -a 4 text_
将这个文件10行分割为一个文件
以4位数字结尾
前缀位text_
[root@xor-vhreport android]# ls
1.txt  text_0000  text_0001  text_0002  text_0003
执行完毕之后就可以看到,被分为了四个 文件 
源文件没有被任何破坏和少数据

相关文章

  • 大文件切割

    需求: 定义: 注意: 做法: 那么命令就是: (源文件依然存在且不少数据) 命令详解: 实际举例:

  • CentOS 7 超大日志文档切割

    CentOS 里切割大文件的命令如下: split[OPTION][INPUT[PREFIX]] 选项如下: -a...

  • Linux切割与合并文件

    大文件即使压缩后也非常庞大,需要切割进行传输,到目标主机上再进行合并。切割命令:split 50M BigData...

  • iOS命令压缩文件

    Mac大文件分包切割与合并 1. tar czvf testfile.tar.gz testfile.doc cd...

  • Linux文件切割与合并

    在使用容量有限的介质传输大文件时(比如U盘、光盘容量小于文件大小),这时候就需要把大文件切割后,再多次传递,最后再...

  • IO流之合并流

    SequenceInputStream合并流 可将多个读取流合并,通常用于大文件切割后的合并; 文件的分割 文件的合并

  • Android 大文件切割与合并

    前言: 由于公司的业务,硬生生的把ios开发的我,掰成了android!关于上传文件的需求处理,做了一个Java的...

  • 文件分段上传

    文件切分上传 昨天有些文艺了。。。今天来点儿干货,总结一下大文件切割上传问题。 emmmmmmm...... 好像...

  • PHP+JS大文件切割异步上传

    用到的PHP文件系统函数 bool move_uploaded_file ( string destination...

  • 大文件切割成 n 个小文件

    同级目录下创建 testdata 和 data 文件夹,执行 split_files.py

网友评论

      本文标题:大文件切割

      本文链接:https://www.haomeiwen.com/subject/dnrboctx.html