美文网首页
Linux中gz文件操作遇到的一些技巧和坑

Linux中gz文件操作遇到的一些技巧和坑

作者: 生物信息与育种 | 来源:发表于2020-10-30 15:08 被阅读0次

前提是gz文件超大,如上百G,肯定不能直接解压来做。

不解压情况下获取gz超大文件的前/后几行?

gzip -cd test.gz |head -100
gzip -cd test.gz |tail -100

Perl读入gz文件操作?

use PerlIO::gzip;
open IN,"<:gzip",$vcfgz||die"$!";

除了常规的Perl模块安装,还可用conda来直接安装PerlIO::gzip模块。

conda install -c bioconda perl-perlio-gzip
#或
conda install -c bioconda/label/cf201901 perl-perlio-gzip

不能直接通过wc -l 来统计gz文件的行数

平时习惯了直接用wc -l file命令来查看文件行数,但用在gz等压缩文件中就不行了。虽然它不会报错,也会返回统计行数,但返回的实际是压缩文件的行数(往往比源文件多很多),而非源文件。给一个示例就能明白:

image.png

查看压缩文件的命令,只有zcat、less等少数几个命令,如果要进行其他操作,不要偷懒,先用它们打开文件再用管道操作。

相关文章

  • Linux中gz文件操作遇到的一些技巧和坑

    前提是gz文件超大,如上百G,肯定不能直接解压来做。 不解压情况下获取gz超大文件的前/后几行? Perl读入gz...

  • Linux文件解压缩

    作为开发人员,我们在Linux服务器上经常会遇到解压,打包文件等操作。Linux的压缩文件后缀有.gz、.tar....

  • 2019-02-24

    今天总结一下最近工作中遇到的小知识点和一些小坑: 关于文件操作方面: json文件的操作最近工作也经常用,关于文件...

  • Linux -- 解压简讯

    linux下解压.gz文件的方法 gzip -dv * linux下解压.tar.gz文件的方法 tar.gz 使...

  • [Linux] linux 命令相关与常见问题

    1:Linux 下解压.tar.gz 和.gz文件 2: linux 下 查看某进程然后杀掉 3:什么是Linux...

  • ssh常用配置

    本文主要记录了一些Linux系统下使用ssh指令的技巧和ssh的config文件简化ssh操作的过程。 1、设置权...

  • Linux 下面解压.tar.gz 和.gz文件解压的方式

    Linux 下面解压.tar.gz 和.gz文件解压的方式 两种解压方式 1 .tar.gz使用tar命令进行解压...

  • Linux文件和目录常用指令

    特殊目录 常用的文件和目录指令 文件压缩 在Linux的环境中,压缩文件的扩展名大多是:[.tar,.tar.gz...

  • Linux文件操作

    文件操作 (Linux文件操作)) [文件|目录] Linux文件操作:为了对文件和目录进程处理,你需要用到系统...

  • python3---os模板,关于文件路径的处理

    在日常编码中,经常与文件路径打交道,对于文件路径的操作中,总是会遇到一些坑,通常是由于没有彻底理解帮助文档的说明 ...

网友评论

      本文标题:Linux中gz文件操作遇到的一些技巧和坑

      本文链接:https://www.haomeiwen.com/subject/syddvktx.html