微博爬虫-发布微博以及获取微博资料
1.发布微博
为了减少限制我们使用移动版本登录
首先登录微博，这里我采用cookie来登录
登录.png
cookie.png
如图，登录后获得cookie
登录后先发布一个微博查看需要传输什么值
查看发送微博需要填写什么.png
图中可以看出，我们需要2个值，一个为st一个为content，且content已知值为我们要发送的微博
发送微博的url在图片里面可以看出是：https://m.weibo.cn/api/statuses/update
找出st的值.png
接着我们从这个网页里面找到st值生成的地方，找到后我们就可以开始写发送微博的代码了
import re
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Mobile Safari/537.36'}
cookie = {"Cookie": "你的cookie"}
url = 'https://m.weibo.cn/compose'
html = requests.get(url, cookies=cookie).text
pattern = r'st:(.+)'
st = re.findall(pattern, html)[0].replace("'",'').replace(',','').replace(' ','')
post_url = 'https://m.weibo.cn/api/statuses/update'
postdata = {
'st':st,
'content':'测试Python发微博!',
}
update = requests.post(post_url, data=postdata, headers=headers, cookies=cookie)
在这里我用正则找出来，不过加了‘’就找不到了，所以只能粗略找出来再把不要的替换掉，接着就可以传入postdata进行发微博了
结果如图：
深度截图_选择区域_20170815141038.png
2.爬取评论
其实这个是我爬取一半遇到个坑，然后百度后找到的教程- -。。。
先贴上链接这里
然后是代码
from lxml import html
import requests
import json
import re
class CrawlWeibo:
# 获取指定博主的所有微博card的list
def getWeibo(self,id,page):#id（字符串类型）：博主的用户id，page（整型）：微博翻页参数
url='https://m.weibo.cn/api/container/getIndex?type=uid&value='+id+'&containerid=107603'+id+'&page='+str(page)
response=requests.get(url)
ob_json=json.loads(response.text)
list_cards=ob_json['cards']
return list_cards# 返回本页所有的cards
# 返回某条微博的热门评论的list
def getComments(self,id,page):# id（字符串类型）：某条微博的id，page（整型）：评论翻页参数
url='https://m.weibo.cn/api/comments/show?id='+id+'&page='+str(page)
response=requests.get(url)
ob_json=json.loads(response.text)
list_comments=ob_json['hot_data']
return list_comments
def printAllTopic(self,page):
list_cards=self.getWeibo('1713926427',page)
# 遍历当页所有微博，输出内容，并根据id查找输出热门评论
for card in list_cards:
if card['card_type']==9:# 过滤出微博，card_type=9的是微博card，card_type=11的是推荐有趣的人
id=card['mblog']['id']
text=card['mblog']['text']
if re.search('___', text)!=None:# 用正则匹配，将博文有下划线的微博过滤出来，有下划线的是“话题微博”
print (u"### 话题: "+text+'\n')
#根据微博id获取热门评论，并输出
list_comments=crawl_weibo.getComments(id, 1)# 热门评论只需要访问第一页
count_hotcomments=1
for comment in list_comments:
created_at=comment['created_at']# 发表日期时间
like_counts=comment['like_counts']# 点赞数
text=comment['text']# 评论内容
tree=html.fromstring(text)
text=tree.xpath('string(.)')# 用string函数过滤掉多余标签
name_user=comment['user']['screen_name']# 评论者的用户名
source=comment['source']# 来源于哪个终端
if source=='':
source=u'未知'
pic_url=''# 评论内容的图片
if 'pic' in comment:
pic_url=comment['pic']['url']
# 输出评论数据
print (str(count_hotcomments),': **',name_user,'**',u' **发表于：**'+created_at,u' **点赞：**'+str(like_counts)+u' **来自：**'+source)
print (text+'\n')
count_hotcomments=count_hotcomments+1
print ('***')
#实例化爬虫类并调用成员方法进行输出
crawl_weibo=CrawlWeibo()
crawl_weibo.printAllTopic(1)# 只输出一页进行示例展示
其实就是不断的解析JSON来获取自己想要的，搜索到榜姐后，点他的微博
获取榜姐首页JSON.png
可以找到生成微博的JSON文件
把URL提取后进去查看，可以看到JSON内容，然后COPY再到json.cn查看
首页JSON解释.png
之后就会发现我们要的微博都再card 9里面，提取之
再点进去评论列表，跟分析博文一样进行分析
评论.png
就能从里面提取精彩评论了，然而，只有8条- -
然后我就重新弄了一下，那里不是有个更多评论吗，点击后就能看到很多热门评论了，缺点是看不到图片。不过还好我主要捉取的是评论- -，然后下拉评论查找评论更新URL规则
然而我找不到第一页，却找到了第二页- -
热门评论1.png
查看JSON文件后，可以发现热门评论更改page就可以了1页有9个评论
然后更改里面的链接就差不多可以了，还有hot_data改为card_group
def getComments(self,id,page):# id（字符串类型）：某条微博的id，page（整型）：评论翻页参数
#url='https://m.weibo.cn/api/comments/show?id='+id+'&page='+str(page)
url = 'https://m.weibo.cn/single/rcList?format=cards&id='+id+'&type=comment&hot=1&page='+str(page)
response=requests.get(url)
ob_json=json.loads(response.text)
list_comments=ob_json['card_group']
return list_comments
3.爬取微博内容
原来我写的有点乱，不好的代码还是扔在电脑里面好了。现在爬取微博内容直接对以上获取到的list_cards解析就行了，不过图片有3种形式，分别是缩略图，压缩图，原图
"thumbnail_pic":"http://wx1.sinaimg.cn/thumbnail/6628711bgy1fca7isjl7nj215o15o167.jpg",
"bmiddle_pic":"http://wx1.sinaimg.cn/bmiddle/6628711bgy1fca7isjl7nj215o15o167.jpg",
"original_pic":"http://wx1.sinaimg.cn/large/6628711bgy1fca7isjl7nj215o15o167.jpg",
4.爬取用户信息
这个栗子同样也是使用移动版微博来获取资料（我这里是从我关注列表里面获取的）
使用cookie登录后 ，再去查看关注列表的信息。因为是用下拉获取信息的，所以多次下拉后可以发现改变page = 的数值就可以获取到新的列表
关注列表.png
可以看到列表里面有个链接：https://m.weibo.cn/api/container/getSecond?containerid=1005051896662273_-_FOLLOWERS&page=2 这个containerid这个不知道是什么，之前也没看过。所以重新跑回主页查看
真id获取.png
可以发现，再这个页面已经出现这个containerid了
到这个页面获取就好了，然而我直接填写= =。。
接着获取到json后就像上面一样开始分析，下面是一个分析的记过栗子
"card_type":10,
"user":{
"id":5909185172,
"screen_name":"拜托啦学妹",
"profile_image_url":"https://tva1.sinaimg.cn/crop.0.0.976.976.180/006rUl0gjw8f4uuscl9p5j30r40r410i.jpg",
"profile_url":"https://m.weibo.cn/u/5909185172?uid=5909185172&luicode=10000012&lfid=1005051896662273_-_FOLLOWERS&featurecode=20000320",
"statuses_count":390,
"verified":true, 有没有认证
"verified_type":0, -1 为没认证。0为个人认证，其余为企业认证
"verified_type_ext":1, _ext为1时(橙色V)， _ext为0（黄色v）_ext
"verified_reason":"微博知名搞笑视频博主 教育视频自媒体 微博签约自媒体", 认证说明
"description":"一个只属于大学生的街访", 简介
"gender":"f", 性别：f为女m为男
"mbtype":12, 12都是个人账户，0也是。2有个人账户也有企业账户，11也是企业账户
"urank":27, 等级
"mbrank":5, 会员等级
"follow_me":false, 是否关注我
"following":true, 我是否关注他
"followers_count":5445128, 粉丝数量
"follow_count":69, 关注量
"cover_image_phone":"https://tva1.sinaimg.cn/crop.0.0.640.640.640/549d0121tw1egm1kjly3jj20hs0hsq4f.jpg",
"desc1":null,
"desc2":null
},
然后就可以获取了，结果如下：
id: 5364707424 姓名: Just春苑 简介: 🐮 等级: 9 性别: m 是否关注我: True
id: 5406572240 姓名: 魅蓝手机 简介: 等级: 17 性别: m 是否关注我: False
id: 3230122083 姓名: Flyme 简介: Flyme是魅族基于Android内核为旗下智能手机量身打造的操作系统，旨在为用户提供优秀的交互体验和贴心的在线服务。源自内心的设计，做最本质的思考，Flyme定会让你刮目相看！ 等级: 35 性别: m 是否关注我: False
id: 5608433557 姓名: 微博雷达 简介: 等级: 5 性别: f 是否关注我: False
id: 1861358972 姓名: 气势如虹Leslie 简介: 去认识更广阔的世界 等级: 16 性别: m 是否关注我: True
id: 1992613670 姓名: 凤凰新闻客户端 简介: 等级: 37 性别: m 是否关注我: False
id: 2629306884 姓名: CSDN产品客服 简介: 还在为你的下载积分太少发愁吗？快来参加CSDN做任务，拿积分活动~~攒下载积分啦~~http://task.csdn.net/rule.aspx 等级: 21 性别: f 是否关注我: False
id: 2251036402 姓名: Colombo丶Fd 简介: 等级: 14 性别: m 是否关注我: True
id: 1720064601 姓名: RNF_牧牧子 简介: |后院43024|轮协3.0|脱了一半的伪宅|世上稀有的腐男|绝对领域万岁|我终于过了CCIE|全(部)球(类)通 等级: 31 性别: m 是否关注我: True
id: 2472362284 姓名: RNF_某清 简介: 微不足道。 等级: 22 性别: m 是否关注我: True
这部分内容的代码：
import re
import requests
import json
from lxml import etree
cookie = {"Cookie": "你的cookie"}
url = 'https://m.weibo.cn/api/container/getSecond?containerid=1005051896662273_-_FOLLOWERS&page=7'
html = requests.get(url, cookies=cookie)
ob_json=json.loads(html.text)
list_cards=ob_json['cards']
for card in list_cards:
if card['card_type'] == 10:
id = card['user']['id']
name = card['user']['screen_name']
description = card['user']['description']
urank = card['user']['urank']
gender = card['user']['gender']
follow_me = card['user']['follow_me']
if gender == 'm':
gender =='男'
if gender == 'f':
gender =='女'
else:
gender == '其他'
if follow_me:
follow_me == '是'
else:
follow_me == '否'
print('id:', id, '姓名:', name ,'简介:', description ,'等级:', urank, '性别:', gender ,'是否关注我:', follow_me)
网友评论