Python3 豆瓣《前任3》评论的词云

前任3评论图

纪念下自己的过去

本是件技术活，无奈却也伤感了少许，《体面》 这首歌单曲循环两个礼拜，每次深夜一两点甚至四点后再睡去，也许现在的自己并不够优秀，只能一个劲的羡慕别人的五年小长跑，一辈子的长跑，而我，却再也不能回去了吧。不想一份感情像纸张一样，揉了又铺好，又揉。

她很好，只是我不够优秀

大学两年，异地一年，不同校，隔三差五就往她的学校跑，熟悉了两个校园，也习惯了有彼此的日子。她还在上学，我却早她工作了。在这里想她........

---

不多说了，步入正题

数据来源

（一）来自豆瓣上的前任3评论（爬到不能爬为止，以后会完善）

贴上代码：

# -*- coding: utf-8 -*-
# @Time    : 2018/3/27 11:15
# @Author  : 蛇崽
# @Email   : 643435675@QQ.com
# @File    : test_douban_qianren3.py（再见前任3的影评）
import csv

import requests
from lxml import etree
import time
from lxml import etree

url = 'https://movie.douban.com/subject/26662193/comments?start=0&limit=20&sort=new_score&status=P&percent_type='

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36',
    'Cookie': 'gr_user_id=ffdf2f63-ec37-49b5-99e8-0e0d28741172; bid=qh9RXgIGopg; viewed="26826540_24703171"; ap=1; ll="118172"; ct=y; _vwo_uuid_v2=8C5B24903B1D1D3886FE478B91C5DE97|7eac18658e7fecbbf3798b88cfcf6113; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1522129522%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DdnHqCRiT1HlhToCp0h1cpdyV8rB9f_OfOvJhjRPO3p1jrl764LGvi7gbYSdskDMh%26wd%3D%26eqid%3De15db1bb0000e3cd000000045ab9b6fe%22%5D; _pk_id.100001.4cf6=4e61f4192b9486a8.1485672092.10.1522130672.1522120744.; _pk_ses.100001.4cf6=*'}


# r = requests.post(url,headers=headers)
# r.raise_for_status()
# html = etree.HTML(r.text)

def get_html(current_url):
    time.sleep(2)
    r = requests.get(current_url, headers=headers)
    r.raise_for_status()
    return etree.HTML(r.text)


def parse_html(content,writer):
    links = content.xpath("//*[@class='comment-item']")
    for link in links:
        content = link.xpath("./div[@class='comment']/p/text()")[0].strip()
        author = link.xpath("./div[@class='comment']/h3/span[@class='comment-info']/a/text()")[0].strip()
        time = link.xpath("./div[@class='comment']/h3/span[@class='comment-info']/span[@class='comment-time ']/text()")[
            0].strip()
        is_useful = link.xpath("./div[@class='comment']/h3/span[@class='comment-vote']/span[@class='votes']/text()")[0]
        print('content：', content)
        print('time：', time)
        print('is_useful：', is_useful)
        # detail = (author, time, is_useful, content)
        detail = (is_useful,content)
        writer.writerow(detail)


if __name__ == '__main__':
    with open('douban.txt', 'a+', encoding='utf-8', newline='') as csvf:
        writer = csv.writer(csvf)
        writer.writerow(('作者', '时间', '有用数', '内容'))
        for page in range(0, 260, 20):
            url = 'https://movie.douban.com/subject/26662193/comments?start={}&limit=20&sort=new_score&status=P&percent_type='.format(
                page)
            r = get_html(url)
            parse_html(r,writer)

（二）结果截图：

txt内容

数据分析

（一）结巴分词与matplotlib绘图

代码：

#encoding=utf-8
import matplotlib.pyplot as plt
from PIL import Image
from wordcloud import WordCloud
import jieba
import numpy as np
#读取txt格式的文本内容
text_from_file_with_apath = open('douban.txt','rb').read()

#使用jieba进行分词，并对分词的结果以空格隔开
wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

#对分词后的文本生成词云
# my_wordcloud = WordCloud().generate(wl_space_split)

font = r'C:\Windows\Fonts\simfang.ttf'
mask = np.array(Image.open('test_ciyun.jpg'))
wc = WordCloud(mask=mask,max_words=3000,collocations=False, font_path=font, width=5800, height=2400, margin=10,background_color='black').generate(wl_space_split)
default_colors = wc.to_array()
plt.title("QR 3")
plt.imshow(wc)
plt.axis("off")
plt.show()

（二）填坑：

1）中文能正常显示的设置：

font_path=font font = r'C:\Windows\Fonts\simfang.ttf' **

2）背景图片设置未生效（个人感觉）：

mask = np.array(Image.open('test_ciyun.jpg'))

3）字符编码问题解决：

text_from_file_with_apath = open('douban.txt','rb').read()

分析

1 电影
2 没有
3 什么
4 你们
5 就是
6 爱情，男人，女人
7 自己，分手

时间有点晚了........睡去罢..............

思考ing.png