美文网首页
bash统计词频

bash统计词频

作者: 李2牛 | 来源:发表于2018-08-28 23:00 被阅读0次

    leetcode题目192.统计词频
    写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。

    为了简单起见,你可以假设:

    • words.txt只包括小写字母和 ' '
    • 每个单词只由小写字母组成。
    • 单词间由一个或多个空格字符分隔。

    示例:

    假设 words.txt 内容如下:

    the day is sunny the the
    the sunny is is
    

    你的脚本应当输出(以词频降序排列):

    the 4
    is 3
    sunny 2
    day 1
    

    说明:

    • 不要担心词频相同的单词的排序问题,每个单词出现的频率都是唯一的。
    • 你可以使用一行 Unix pipes 实现吗?
      ANS:
    1. 整理文本内容,使得每个单词占一行
    sed 's/ /\n/g' #将所有的空格换成换行
    sed '/^$/d' #删除所有空行
    

    或者

    tr -s ' ' '\n' #空格换行并清除空行 
    
    1. sort | uniq -c 统计单词重复的次数
    2. 排序
    sort -n 将字符串转数字 
    sort -r 指定顺序为从大到小 
    sort -k 2 指定第二个字段作为排序判断标准
    
    1. 输出
    awk 是逐行检索文本。分为3的部分。 
    BEGIN{#这里进行一些检索文本前的初始化操作} 
    {#这里是对应每一行的操作}。例如这里 for(i=1;i<=NF;++i){++m[$i]}就是将每一行分隔的字段,进行词频统计。 
    NF是分隔的字段数。 
    $0表示整行字符串 
    $1到$NF表示从分隔的第一个字符串到最后一个字符串 
    awk中的数组可以用作hashtable做来词频统计。 
    END{#在检索文本后的操作} 
    for(k in m) k表示的就是m的key。
    

    最后的命令可以是

    cat words.txt | sed 's/ /\n/g' | sed '/^$/d' | sort | uniq -c | awk '{print $2, $1}' | sort -nrk2
    # 或者
    cat words.txt | tr -s ' ' '\n' | sort | uniq -c | awk '{print $2, $1}' | sort -nrk2
    

    相关文章

      网友评论

          本文标题:bash统计词频

          本文链接:https://www.haomeiwen.com/subject/elecwftx.html