美文网首页Linux学习与应用技巧
生信(五)awk求取某一列的平均值

生信(五)awk求取某一列的平均值

作者: 生信了 | 来源:发表于2019-11-21 17:15 被阅读0次

y原创:hxj7
关键词:awk

awk是生信人必须要掌握的命令行工具。为啥?因为它太强大了。我们举一个例子来说明。

假设我们有一个1000万行的文件,大概长这样:


image

怎么求第四列的平均数呢

Python版本
我们可以用几行Python代码解决,比如这样:

image

其耗时:


image

R版本
用R来做计算也是很适合的,比如像这样:

image

其耗时:


image

awk版本
awk用一行代码就可以解决问题,像这样(注意耗时):

image

至此,我们可以看出,awk代码简单,但是性能却不差!在同样的机器上处理同样的文件,awk的运行时间是Python的一半左右,是R的大概十分之一。可以说,awk已经非常快了

C版本
都说C快,让我们看看到底有多快。代码如下:

image image

其耗时:


image

可以看出,C的版本也仅比awk的稍快一点点。但是,C的代码复杂多了!由此,我们可以粗略比较出awk是一个非常完美的文本处理工具!

如果有任何问题,欢迎交流!

(公众号:生信了)


image

相关文章

  • 生信(五)awk求取某一列的平均值

    y原创:hxj7关键词:awk awk是生信人必须要掌握的命令行工具。为啥?因为它太强大了。我们举一个例子来说明。...

  • shell 数据扣取

    从sql中提取某一列。 方法:awk:awk -F ',' '{print $1}' aaa>aa sed 's...

  • 聚合函数

    聚合函数 AVG:求某一列平均值 COUNT:统计总行数 SUM:计算列总和 MIN:求某一列的最小值 MAX:求...

  • awk集锦

    摘要 整理awk命令常用的知识点,这里会整理现成demo实例 第一列相同,第二列相加 求和 求平均值 求最大最小值...

  • 专升本手札16

    计算机: 1.常用内部函数 count 统计记录的个数 sum 计算某一列的总和 avg 计算某一列的平均值 2....

  • R语言 -- 如何将数据中的空值(NA)替换为所在列的均值

    白嫖它不香吗 来源:生信技能树 -- 学徒讨论-在数据框里面使用每列的平均值替换NA

  • linux命令对某一列去重/统计

    1、取出某一列 cat file.csv | awk -F '\t' '{print $2}' '\t'指的是fi...

  • 均值比较和T检验

    均值过程:求取平均值标准差等单样本T检验独立样本T检验配对样本T检验 均值比较就是求取样本平均值,组间均值比较,总...

  • awk

    Linux System Environment awk功能 awk格式 awk 参数 一、awk截取列 二、显示...

  • awk提取某一行某一列

    awk使用说明 原文档内容格式: 共3列内容,现在只提取第一列词表,并存入另一文件: 其中 ./CH_word_l...

网友评论

    本文标题:生信(五)awk求取某一列的平均值

    本文链接:https://www.haomeiwen.com/subject/ncitwctx.html