爬取学校贴吧150个帖子，统计词频，简单数据分析

一、数据采集目标站点：百度贴吧

import requests
from lxml import etree
import re
headers = {
    "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
}
detail = []

def titleAndurls(url):
    html = requests.get(url,headers=headers)
    urls = re.findall(r'href="(/p/.+?)"', html.text)
    for url in urls:
        getDetail('http://tieba.baidu.com'+url)
def getDetail(url):
    html = requests.get(url, headers=headers)
    firstFloor = re.findall(r'class="d_post_content j_d_post_content  clearfix">(.*?)<',html.text,re.S)
    detail.append(firstFloor)
    print(firstFloor[0].strip())
    # with open('question.txt','a+',encoding='utf-8') as f:
    #     f.write(firstFloor.strip()+'\n')
if __name__ == "__main__":
    urls = ['http://tieba.baidu.com/f?kw=%E5%8D%97%E9%98%B3%E7%90%86%E5%B7%A5%E5%AD%A6%E9%99%A2&ie=utf-8&pn={}'.format(i*50) for i in range(1,4)]
    for url in urls:
        titleAndurls(url)

床多大啊，，，，谁知道
请问是不是住上铺，下面那个两联柜子可以自己使用?柜子一般怎么分配?
我是男的，不要把我当成学姐了
听说不爆照不会被罩？楼下放图
今年初三毕业，想上理工3+2，怎么报名？
半年后终于可以对着南阳理工说句等我，风里雨里，我都想去找你——南理，虽然分数不能保证我能去，可我想冒险，就为了自己的梦，随便艾特一下之前认识的小伙伴，不知道你们还记得我么

通知书怎么查  有大神发下链接没
有没有福建龙岩的新生昂？或者福建的龙岩的老乡群，可以一起去学校噢。
南阳理工学院学生会全家福镇楼！
想必多数男生和少数女生都在玩所谓的农药了。那么有趣的事就来了，你是喜欢哪个英雄呢，可能厉害的人会说没有不厉害的英雄，只有笨的玩者，也确实，不过对于不同等级的玩家来说，英雄的选择还是很重要的，这决定了他们的上手的容易程度。
学长学姐问一下学校附近的银行都哪些？
学哥学姐们，学院有没有美术专科啊，不知道能不能上
请问播音系的在哪号楼上课啊？？
中外合作的专业可以申请贫困资助吗
专升本的，用军训吗
想请问学长学姐我的通知书怎么还没到，都是南阳的应该很快就到了的呀
收到录取通知书了，一堆手机卡.
联通手机卡为什么激活不了


关于新一届的学弟学妹们，你们现在就像我当初来南工是一样的，太多的问题，食堂，环境，交通，宿舍，等等，一系列的问题，因为自己没有办法到学校看看，所以，有什么问题就问我吧，，，等待你们的骚扰
让我长高吧长高吧！！！！！
2017年新生 本来是工商管理专业想转张仲景 现在可以转吗 求学长学姐帮助
各位学长学姐好。我是一位2017届的播音系的新生，我想了解一下这个专业在学校怎么样？宿舍条件怎么样，☺☺☺
南阳理工学院校园分布图
请问本校宿舍怎么样 有图吗
通知书已经拿到了，打算坐火车去，学哥学姐能告诉我到了南阳火车站怎么走吗？听说有接待在哪？什么时间，怎么找啊？
1.虽然大一学习任务不是很重，但却很容易挂科，不要老是听别的学长学姐说不难，不好好学，只管玩。在大一可以多参加一些组织社团等，同时每天抽出一点时间，哪怕半个小时来学习，你都很棒了，千万不要耽误学习，平时作业一定要从大一开始养成自己做的习惯，就算错的也没事，每次作业都自己做一遍了之后，你在考试时就会发现很轻松了。
请问一下学长学姐
想 换手 机 没有资 金 这都不是事啊！！
喏~你们的通知书
学校西北老校区分为女生宿舍楼7~10号楼；男生宿舍楼为1~6号楼！！各位录取了的小萌新们一定要看好自己的校区分配哦！！
17新生  国际经济与贸易 求队友

南阳理工学院   为什么又叫小清华
到现在还查不到通知书，好慌。。。。。二本的。。。。
大一毕业的话在南阳理工转换专业难吗？我被通信工程录取了，感觉好难就业啊！
宿舍最早什么时候开门
：与传销的“零距离”接触
求解，咱们大学中外合作办学的专业能转其他学费正常的专业么
前排求问专升本用不用军训？前排求问宿舍床铺的长和宽。
专升本升到南阳理工在哪个校区呢
本省本科二批通知书什么时候能到
有安阳的小伙伴吗😳，快来这里集合！
学长学姐，南理寒暑假会不会组织社会实践？主要是哪一种类型的？
大学是不是像别人说的一样，每天两节课。上课听不听随意。生活很自由啊。

南阳理工学院17届的学弟学妹们有什么对学校的问题都可以问我哦，我是一枚生活在南阳的理工小姐姐
万能的吧友啊。告诉我最早什么时候宿舍开门呀

盗图可耻
有木有扶沟高中的小伙伴
已录取，小树莓一枚，求带。
我在南工等你#哪里查专业#

谁要江西老乡群，求告知😄
广东的通知书发出没有？？
学长学姐们我想问下征兵网的那个必须弄吗？一点也不懂被窝弄错了还能改吗？
有玩毒奶粉的小伙伴没？河南六   跨七的
有国医专升本群吗？
新生报到，汉语言文学，多多关照
本帖为各商家提供一个发布租房兼职招聘信息的平台，也为各位有意的同学提供一个查看此类信息的途径。
学姐学长们！想知道师范什么时候能搬到新校区！！谢谢了🙏🙏
来南工的广东学妹学弟在哪里
有没有小伙伴要处理电车的，有的话请私我
各位17的小宝贝们，你们都是哪里的呢？小学姐是哈尔滨哒，嘿嘿。河南南阳距离黑龙江坐火车要历时34小时，从此故乡只有冬夏、再无春秋…如果小伙伴有需要的话，可以随时问我哦，下附QQ
光秃秃
初中生能上南阳理工学院吗

请问各位学姐（重点），开学第一个月一共带大概多少够用啊，还有后面一个月大概多少够用？求科普！要是有播音专业的学姐来解答就更好了
福建的超提档线二十多分，能不能被征求呀
有福建的南工人嘛，本人17新生自动化专业。
女生那些不为人知的小动作
似乎是两车相向而行，发生轻碰，发生激烈争斗，几人缠斗在一起，之后在行人帮助之下，让两帮分开，凯迪拉克夫妇坐车之后，猛加油门撞一下对方家用小车而后潇洒离去，起因尚且不知，争斗结束后方有安保人员缓缓而来，询问一句，无人答复，此事结束
要生了要生了~~~
学校里有没有专升本的班，什么时候开始啊？
一年啦
想知道理工学院好不好 万能的小哥哥小姐姐们啊这可能是你们未来的小学妹
大一新生想找份在校兼职 求学姐学长给个介绍 谢谢哈
为啥官网不录  吉林招生办录了   我到底考没考上
可爱的萌新小石器们首先我代表理工吧务组热烈祝贺你们金榜题名！被我大理工录取！
南阳理工学校师范是独立学院是什么意思啊，学长学姐求解答
各位学长学姐，学校里有艺术专业吗？美术的
如果你在犹豫你要加入什么社团，请来【大学生职业发展协会】
家在外省去一次实际个小时，半夜到多不安全！加入有同学在新疆那呢？长途跋涉就为了一个通知书？学生处电话打了好几个没人接！也真是气死了，帮忙吧这帖子顶上去，让校长看见！
本人2011年本科毕业，12年底手头2万加上借来的3万，决定留学日本。13年4月赴日到东京。
想看到步步生莲的汉唐舞蹈么？
期待你的加入👏
南阳理工学院（非中外合办）大家高考都多少分啊？
想咨询一下，中外合作办学的学费后两年还涨吗？是必须出国吗？
捉鸡
有食品科学与工程的小伙伴嘛!!!!
有没有专升本补习班？
我来了哦。
南阳理工学院校图书馆读者协会
经管学长答疑～欢迎新生提问各种问题！
有福建的新生吗？
学校这大图灰溜溜的
我就是南阳本地的，想知道今年二本三本合并了，那成绩低的是在本校还是在医专？
九号飞机南阳到北京有没有   北京到内蒙赤峰的可以考虑拼车了
那年今日【北京奥运，我们的骄傲！】2008年的今天，第29届 奥林匹克运动会开幕式在北京鸟巢举行。光环照亮古老的日晷， 2008名演员击缶而歌，中国画长卷缓缓打开，李宁点燃主火炬…… 世界为之惊艳！还记得当年的热血沸腾吗？2022年，相约北京-张家口冬季奥运会！期待，祝福！
戴olc眼镜，奔光明前程!
柘城的亲们，其实咱们应该建个群。。。。。提议。。

学校有没有健身房，轮滑社呀
滴、你酷学长报道
有没有17届数字媒体艺术设计的小伙伴+
小石器 河南省周口市鹿邑县👌
新生自助报道系统进不去网页，怎么办。
谁知道府衙发生了什么，居然小吃街都关门了
开学就要大三了，好快。。时光荏苒，人生如梦
南阳理工学院读者协会介绍NO.2之部门职责介绍
远方除了远一无所有
本帖为“广告招聘寻租服务”信息长期专用贴，
有木有，专升本，护理，河南濮阳的新生
怎么办啊？这个必须要有吧
新人求问有独立卫浴吗
弱弱的问一句496可以进贵校吗，
来自新疆的一只
小伙伴被你们学校软件工程专业录取了  有没有新生群拉一下
有新疆艺术系的伙伴吗？
有没有市场营销（互联网营销方向）的新生啊，找不到组织(Ｔ▽Ｔ) 心好虚
学校咨询电话打不通，没有银行卡是肿么回事？？

有没有喜欢权利的游戏的同学
被南阳理工录取了，可是不知道坐什么车到校报道比较顺利、方便，有没有辽宁的师兄、师姐能告诉一下，详细点，万分感激中！

有中外办学专业的师哥，师姐吗？中外合办专业学校除了学费贵以外，其它别的住宿舍费伙食费……和其他专业都一样吗
我考了425，文科工商管理，可是刚才南工微信官网上的最低分比我高那么多，怎么回事啊，好吓人啊，
自动化哪个校区呐，床是多大的呢？

请问一下本科二批录取通知书什么时候回开始寄啊？谢谢
由吉林的报B段吗
请问申请了生源地助学贷款的学生是否还需要在开学之前交学费和住宿费？？？
机制的新生在哪个校区啊。
如题
专升本，法学，有漯河的没有？求认识
社团多不多啊

南阳理工学院国旗护卫队成立于2002年，是一个承载神圣使命、拥有巨大殊荣的特殊团体。是由团委直接领导的准军事化组织，是学校开展爱国主义教育的主阵地，以护卫国旗为使命，以弘扬爱国主义精神为己任，力求展现当代大学生团结进取、积极向上的精神风貌。以爱护国旗、贯彻国旗法为宗旨，在广大师生中营造爱国旗、护国旗的高尚的爱国主义风貌。秉承“严谨务实，率先垂范”的队训，这支充满活力的队伍为南阳理工学院的精神文明建设做出了卓越贡献。
天太热，弄点冰块消消暑
我这是已被收了吗
学弟学妹们 还没开学 先看看漂亮的南工景色吧 带你飞上天俯视一**retty南工  是飞上天的那种看咦 想飞的尽管留WeChat or Q or 私下骚扰我 你是不会后悔的
学校查寝可严嘛?晚上出去玩也不行?
图书馆借书最好不要用机器还 有可能书被吞了显示未归还 然后就等着陪书吧 然后就没然后了
又是一年开学季
【2017南阳理工学院炫域动漫社迎新宣传帖】
17届新生，美术类，视觉传达设计专业，求队友
17届，“南工”有山西的吗？求伴

二、分词统计词频(jieba)

import jieba.analyse
f = open('question.txt','r' ,encoding='utf-8')
content = f.read()
data = {}
try:
    jieba.analyse.set_stop_words('stop.txt')
    words = jieba.analyse.extract_tags(content, topK=100, withWeight=True)
    for item in words:
        line = item[0]+'\t'+str(int(item[1]*1000))
        data[item[0]] = int(item[1]*1000)
finally:
    f.close()

三、导入pandas和pyecharts进行数据分析处理和绘图

import pandas as pd
from pyecharts import Bar, Funnel, Radar, WordCloud

data.keys()

dict_keys(['招聘', '查寝', '柘城', '时光荏苒', '全家福', '老乡', '欢迎', '校区', '师范', 'ID', '二本', '严嘛', '南工', '本科毕业', '轮滑', '准考证', '理工学院', '小伙伴', '小可爱', '拼车', '专升本', '介绍', '国旗', '学费', '新生', '食品科学', '预科班', '学生会', '舞蹈', '学院', '报名', '国医', '比较顺利', '学长', '媒体', '专业', '炸鸡', '美术', '小萌', '爱国主义', 'WeChat', '通知书', '校园', '小姐姐', '协会', '听歌', '学姐', '小吃街', '学校', '学哥', '图书馆', '中外', '国旗护卫队', '万分感激', '成绩单', '大学生', '17', '校会君', '跳街舞', '吉林', '宿舍', '南阳', '银行卡', '烫头发', '新生报', '社团', '同学', '新疆', '求带', '校团委', '萌新', '捉鸡', '北京', '兼职', '汉语言', '读者', '多多关照', '学生处', '小宝贝', '艺术设计', '提档线', '期待', '树莓', '宣传机构', '广东', '学弟', '报道', '河南', 'freestyle', '福建', '组织', '龙岩', '开学', '师姐', '自动化', '理工', '成绩', '工商管理', '视觉', '学妹'])

data1 = {'focus':[value for value in data.keys()],'times':[times for times in data.values()]}

df = pd.DataFrame(data1)

df

词频

bar = Bar("南工贴吧帖子标题词频统计", "by:@Loading_miracle")

bar.add('关注点',df.sort_values(by=['times'],ascending=False)[:10]['focus'].values.tolist(),
        df.sort_values(by=['times'],ascending=False)[:10]['times'].values.tolist())

bar

柱形图

词云图

name = df.sort_values(by=['times'],ascending=False)['focus'].values.tolist()

value = df.sort_values(by=['times'],ascending=False)['times'].values.tolist()

wordcloud = WordCloud(width=1300, height=620)
wordcloud.add("", name, value, word_size_range=[20, 100],shape='diamond')

wordcloud

image.png

使用在线生成工具TAGUL生成词云图

词云图

python3.5.3