很多网页浏览都需要首先登陆，比如说新浪微博。当然，这里有一个小技巧，用手机3G版登陆。电脑版会有各种加密，动态加载什么的。我们就耍一下小流氓，柿子拣软的捏么。
浏览器保持登陆是利用我们登陆时收到的cookies，发送给网站，这样网站就知道用户已经登陆过来。我们的思路是这样：首先提交账号密码登陆，接受cookies，然后才开始浏览微博。
但是很多网站不仅需要提交账号密码，为了防止爬虫，他们会在登录页面源代码里生成一些随机数据，浏览器会自动处理，post出去。所以我们也要找到它们。
这是我们的步骤：第一步要找出我们需要提交的数据，第二步在登录页面的网页代码里Ctrl +F寻找那些数据，第三步开始写代码，利用requests.get(登录页面)，抓取代码，re正则表达式提取出来，组成列表。第四步登陆，获取cookies。第五步开始抓取微博。
第一步：找出浏览器发送的数据
1，我们打开登陆网页： https://login.weibo.cn/login/
2，右键单击，查看元素，点击控制台，网络。
3，右键单击，查看源代码。（为了找到发送数据后回来看这些数据在源代码的位置）
4，填写账号密码，点击登陆。我们可以看见，浏览器发送了一个POST，我们点开看看
5，我们分析一下，可以看到，POST的请求网址不是原来的，即我们要提交数据的url。这是一个我们需要找的。
还有表单提交的内容：
vk，tryCount，submit，remember，password_8439，mobile，backURL，backTitle这几项。我们需要找的是vk，password_8439就行了。
第二步在登录页面的网页代码里Ctrl +F寻找那些数据
我们分别搜索rand，vk，password关键词，找到它们的位置，发现数值确实和发送的数值一致。
第三步requests.get(登录页面)，抓取代码，re正则表达式提取
第四步获取cookies
cookie=requests.session().post(new_url,data=data).cookies
第五步抓取微博
代码如下
#-*-coding:utf8-*-
import requests
from lxml import etree
import re
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
#防止编码错误
url_login = 'https://login.weibo.cn/login/'
html = requests.get(url_login).content
selector = etree.HTML(html)
password = selector.xpath('//input[@type="password"]/@name')[0]
vk = selector.xpath('//input[@name="vk"]/@value')[0]
action = selector.xpath('//form[@method="post"]/@action')[0]
print action
print password
print vk
print" ************* "
newurl = url_login + action
data={
'mobile' : '登陆账号',
password : '登陆密码',
'remember' : 'on',
'backURL' : 'http://weibo.cn/',
'backTitle' : u'手机新浪网',
'tryCount' : '',
'vk' : vk,
'submit' : u'登录'
}
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36'}
cookie=requests.session().post(newurl,data=data，headers=headers).cookies
print cookie
page = []
for i in range(1,21):
newpage = 'http://weibo.cn/greatanny?page=' + str(i)
page.append(newpage)
for url in page:
html = requests.get(url,cookies = cookie,headers=headers).content
selector = etree.HTML(html)
content = selector.xpath('//span[@class="ctt"]')
for each in content:
text = each.xpath('string(.)')
print text
网友评论