美文网首页python网络爬虫大数据
利用pandas+python制作100G亚马逊用户评论数据词云

利用pandas+python制作100G亚马逊用户评论数据词云

作者: YoghurtIce | 来源:发表于2015-12-18 14:28 被阅读3351次

    Part 1: 你真的认识大数据吗?

    我周围很多人,开口闭口都是云计算、大数据。你要是真的去追究什么事大数据,什么级别的数据才叫做大,那么他们多半是答不上来的。我见过好几个人,处理过的最大数据不过是几百M的csv文件,却整天在谈hadoop,spark之类的。这简直是拿大炮去打蚊子,真是浪费了材料。以我的实践经验来看,低于500G,甚至1TB的数据都是可以通过pandas这个数据利器来解决,最多加上dask这个利器。所以当你的数据只有几百M,几个G,或者几十个G的时候,就用你手头的单机电脑去完成它吧。

    Part 2: 问题描述

    我们手里面有一个差不多100G的亚马逊用户在购买商品后留下的评论数据(数据格式为json)。我们需要统计这100G数据中,出现频率最高的100个词语。然后制作一个词云表现表现出来,所谓的词云,就是类似于这样的一张图片

    ,显然还是图片让我们对单词出现的热度一目了然。

    Part 3: 问题难点

    1. 数据量太大,而我的电脑内存只有32G,无法将数据一次性装入内存。需要我们队数据进行分块处理。在解决问题之前,我们需要对要处理的数据一探究竟。我的数据来源是公开的,由MIT一位教授放在亚马逊用户评论数据,只需要给他发一个邮件,说一下自己的意图,就可以直接下载了。下面我结合着代码,介绍整个项目的流程。
    import dask.bag as db  
    import ujson as json  #听说用ujson解析比普通json快好几倍哦
    import pandas as pd  
    import numpy as np
    import gzip               #解析gzip等压缩文件
    import re        
    
    b = db.from_filenames(r'E:\研究生阶段课程作业\python\zhihu_bigdata\complete.json.gz',encoding='utf-8').map(json.loads)
    b.take(1)    #检查数据的格式
    >>out[1]:'asin': 'B003UYU16G',
      'helpful': [0, 0],
      'overall': 5.0,
      'reviewText': "It is and does exactly what the description said it would be and would do. Couldn't be happier with it.",
      'reviewTime': '11 21, 2012',
      'reviewerID': 'A00000262KYZUE4J55XGL',
      'reviewerName': 'Steven N Elich',
      'summary': "Does what it's supposed to do",
      'unixReviewTime': 1353456000}
    

    在这段代码中,我们首先读取complete.json.gz里面的数据,这里我用到了dask里面的bag类型,dask会根据你的内存情况来适当读取不超过内存大小的数据,在这里我建议如果你对神马spark,hadoop之类的不感兴趣,又想搞一些大数据方面的行当(不超过1TB),那么我还是建议你好好看一下dask
    因为我们只对里面的 "reviewText"字段感兴趣,我们对其他的字段直接忽略。在提取" "reviewText"数据之前,我们看一下需要处理多少行这样的数据。

    print(sum([1 for _ in gzip.open(r'E:\研究生阶段课程作业\python\zhihu_bigdata\complete.json.gz')]))   #计算用户的评论数目
    out[2]:143674325     #差不多1.5亿行数据,在我电脑上跑了差不多三分钟
    

    没错,只有一行数据,不用把数据全部装入内存,我们就可以计算这100G数据,究竟有多少个类似于out[1]这样的数据段。你问我为什么喜欢python,这就是理由,因为他强大,简洁,优雅,代码可读性好。

    我们需要处理的数据差不多有100G,远超我们的内存极限。
    采用的步骤如下:
    step 1:对每一个用户数据,转化成字典结构。
    step 2: 提取里面的 reviewText
    step 3: 使用分词,把句子转化成单词
    step 4:对每个单词进行hash,对于相同的hash值,写进txt文件
    step 5: 对于同一个单词,肯定在一个txt文件中,分别统计单词的出现频率
    step 6: 制作词云
    

    在这片文章的剩下内容,我将针对这六个步骤进行详细讲解:

    tempDir = 'E:/研究生阶段课程作业/python/好玩的数据分析/制作亚马逊200G用户评论词云' #把评论数据分散到这个文件下下面的100个txt文件
    pattern = re.compile(r'\w+')   #编译正则表达式,把短句转化成list
    def hashFile():
       temp_path_list = []
       for i in range(1,101):
           temp_path_list.append(open(tempDir+'/'+str(i)+'.txt',mode='w'))
       for each in (gzip.open(r'E:\研究生阶段课程作业\python\zhihu_bigdata\complete.json.gz')):
           sentence = eval(each)    # turn string to dict
           words = sentence['reviewText']   #提取 reviewText
           words_list = pattern.findall(words)  # example:words:"I love china" to words_list:["I","love","china"]
           #print(words_list)
           for word in words_list:
               if not word.lower() in stopwords and len(word) >= 2: #忽略一些太简单的单词,例如“a”,"an",把你不想要的的单词全部放在stopwords中。最好是set格式的stopwords。
                   word = word.lower()        #全部为小写单词
                   print(hash(word)%100)    #对单词进行hash,相同的单词一定会hash到同一个文件中
                   temp_path_list[hash(word)%100].write(word+'\n')   #写入文件
       for f in temp_path_list:
           f.close()
    hashFile()
    

    以上的一段代码,首先是遍历100G的数据,提取每一行中的我们感兴趣的部分。然后使用正则表达式,把字符串转化成单词列表,过滤到我们不感兴趣的单词。对剩下的单词进行hash,这样我们可以把相同的单词写到同一个文件中,因为我们的目标是找出出现频率前1000的单词,那么我们只要对这1000个文件,各自找出出现频率在1000以内的单词,在进行排序,即可得出最终的结果。

    经过上面的步骤,我们已经把可能相同的单词放在了一个文件中,共计100个文件
    下面分别读取每个文件到一个列表中
    计算每个列表出现频率最高的1000个单词
    最后在找出100个文件中出现频率最高的1000个单词
    import os
    from collections import Counter
    results = Counter() # 初始化
    for root, dirs, files in os.walk(r'E:\研究生阶段课程作业\python\好玩的数据分析\制作亚马逊200G用户评论词云'):
        for file in files:
            with open(os.path.join(root, file)) as f:
                words_list = f.readlines()
                words_list = list(map(lambda x: x.strip('\n'),words_list))
                word_common_1000 = Counter(words_list).most_common(1000)
                results.update(word_common_1000)
    

    以上的一段代码,把100个txt里面的单词,分别遍历,找出每个出现频率为1000的单词,全部放在results中

    import heapq
    words_fren_list = list(results.keys())
    words_fren_list_100 = heapq.nlargest(100,words_fren_list,key = lambda x:x[1])
    

    哈哈大功告成,特别提醒一下,这里我是用了一个小的trick,找出出现频率最高的100个单词的时候,我并没有对全部数据进行排序,而是使用了heaapq中的nlarges函数,可以提升不小的效率。
    最后根据这些词出现的频率,画出词云。

    from wordcloud import WordCloud
    wordcloud = WordCloud(max_font_size=40, relative_scaling=.5).fit_words(words_fren_list_100)
    import matplotlib.pyplot as plt
    plt.imshow(wordcloud)
    plt.axis("off")
    plt.imshow()
    

    最后的结果如下图所示:

    词云

    稍后我会把完整的代码放在我的github上,如果你有疑惑或者想讨论的内容,请与我联系:
    Email: 1527927373@qq.com
    QQ :1527927373

    相关文章

      网友评论

      • ohyeah521:你好,请教一个问题:我想根据用户手机通讯录绘制一个任务关系网,当你输入一个人名的时候就根据这个人名展示出一个网状图
        ccad279e44cb: @ohyeah521 neo4j
      • 追梦人物:这个需求相对来说比较简单,行与行之间并不耦合,因此可以先载入一片数据,处理完后再载入另外的一片,内存完全不是问题。1G内存的电脑也能处理。
      • 长宁路小李子:hi 博主你好, 很感谢你的分享 受益颇多。 有个问题想请教下, 这个数据有100G理论上读入内存是有困难的,但是文章中好像并没有采用chunk分块处理 看上去还是直接都读入内存了:
        gzip.open(r'E:\研究生阶段课程作业\python\zhihu_bigdata\complete.json.gz')

        不知我理解是否有误呢
      • 97767e96c97e:很給力~很清晰明了
      • 默默杂谈:很好的文章,个人公众号转载一下,不知道可否
        默默杂谈:@YoghurtIce 你知道可否提供下markdown代码 :relaxed: :relaxed: 邮箱是cosmoivy@126.com
        YoghurtIce:@Cosmo_Chen 可以
      • 4585f009cac3:佳哥越来越牛了。。
        YoghurtIce: @世界怎么了 是不是小商子

      本文标题:利用pandas+python制作100G亚马逊用户评论数据词云

      本文链接:https://www.haomeiwen.com/subject/kesphttx.html