我是一个计算机专业的渣渣，以前读书的时候，看见代码避之不及，所以编程基础可想而知，现在工作了，觉得会点编程，帮助提高工作效率非常有必要，所以没事的时候看看教程，动手来点操作，还是很有成就感的。但是，这样的功底也敢出来写技术文，还真是个笑话。其实我的初衷并不是来卖弄，也不是指望用自己的浅薄去指导别人，而是通过这样的方式激励自己学习，同时，这样梳理自己所掌握的知识也是一个有效的提高方法，所以，就厚着脸皮，在到处是大神的世界里鼓足勇气献个丑。话不多说，就直接正文吧。
python这个语言相当好学，有一点点编程基础或者英语基础，看着代码对其实现功能也能大致猜出个一二来，而且python有丰富的第三方库的支持，功能也是强大到不行，但是用得比较多的方面还是网络编程，特别是网络爬虫，就像我们在百度搜索，百度就是通过爬虫的方法将所抓取的信息展现在我们面前的。我现在的能力还没有到爬虫的阶段（说起来也是羞愧，可能是太笨啦），但是，基本知道网络爬虫的一个思路，就如我们下面要提的简易登陆与评论功能一样，都大致遵循这样的一个流程，理解了这个基本思路，再去扩充语法知识，代码能力，面对复杂问题就不会措手不及了。
1 浏览器与服务器的交互都是依赖HTTP协议的，理解HTTP协议对网络编程非常有帮助，关于这个协议的书也有厚得跟砖一样的，但是，那么深厚的知识也用不着。我们只要使用火狐浏览器（火狐浏览器有很多的扩展插件，非常好用），安装插件HttpFox，自己进行一些简单的网页操作，就能看到这样的一个交互过程，如下图。
HttpFox工具演示其中，请求头，cookies，Post Data，content都是我们待会实现登陆，评论功能所需要的东西。下面结合实例讲每个的作用。
2 要实现登陆功能，就先用HttpFox抓取登陆的数据，在网页中进行一次正常登陆，获得如下交互过程。
抓取登陆过程的数据
你会发现进行一次登陆会出现好几个数据包的传送，不知道要看哪个，登陆过程实际就是通过post方法，将用户名，密码提交到服务器，POST Data中清楚的反映了所提交的数据，服务器通过校验之后返回登陆成功或失败的界面。所以，其他通过get方法得到的数据包是你实现登陆后，服务器给你返回的页面信息，对于登陆无需关注。登陆功能除了提交用户名与密码以外，还要带上请求头Headers，请求头就是在向服务器展示自己的身份信息（浏览器的版本，cookies信息等），这些至关重要，不然服务器会认为这不是合法的请求，会拒绝访问的。
3 下面就是根据HttpFox反映的数据来构造请求了，这里使用的是request的方法，非常简单。
# _*_ coding: utf-8 _*_
import requests
cookie = 'Username=340222199003295720; Password=000000; ASP.NET_SessionId=luezliknfyxcfkam3hllvcwe; ASP.NET_SessionId_NS_Sig=Ltnz_ZJG-ytGkgf9'
loginUrl = 'http://idj.wh.cn/webApp/Login.aspx'
headers = {'Host': 'idj.wh.cn', 'User-Agent': 'Mozilla/5.0 (X11; Linux i686; rv:45.0) Gecko/20100101 Firefox/45.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en-US,en;q=0.5', 'Accept-Encoding': 'gzip, deflate' , 'Referer': 'http://idj.wh.cn/webApp/Articles.aspx?articleType=7', 'Cookie': cookie, 'Connection': 'keep-alive'}
loginData = {'sm': 'sm|btnLogin', '__VIEWSTATE': '/wEPDwUKMTc1MTE0NzM3MWQYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgEFDXJlbWVtYmVyU3RhdGUQAaRXtTzjQ4B3OZ1MSDS0zcWB6FTDUk4r4+PQ1pkM7w==', '__EVENTVALIDATION': '/wEdAAY8QG35Cs8BFobiqDn5rbZG6Y4qRRpDcYIgJP5XLfAdA9XmB3ZccCgIkWSdn5sSocPBQugXQF4sYcHPHIbkofkPop4oRunf14dz2Zt2+QKDEKZM3KrfalComXZD3CSHb2bladOnrZMPtzFGXOB/Pki6Jey30nTFKB1mTUGzlUlugA==', 'textUsername': '340222199003295720', 'textPassword': '000000', 'rememberState': 'on', 'state': '-1', '__ASYNCPOST': 'true', 'btnLogin': '登 录'} //在HttpFox里中文字是乱码的，你可能通过查看raw即原始字符，通过url解码看到具体的内容
login = requests.post(loginUrl, data=loginData, headers=headers)
if login.status_code == 200:
print('[+]登录成功!')
else:
print('[-]登录失败!')
其中，cookie是要着重强调一下的，一般的网站如果很稳定的话，cookie的有效期就比较长，这次抓取了，过个一天还是可以用的，不需要重新抓取，就像我登陆的这个网站，就相当不稳定，总是强制闪退，所以分配给用户的cookie也一直在变化。requests的post方法需提交了三个数据，登陆的网站地址（对应Headers中的“Request-Line”），提交的用户名与密码（对应POST Data），请求头，后两者都是以字典的形式来定义的。最后，通过返回的状态码来确定是否登陆成功。
4 请求文章页面。接着就是实现评论功能，需要登陆的网站都要先完成登陆，才能发出其他请求，不然会被服务器认为是不合法的请求而拒绝。按照同样的流程，将评论功能的流程在网页操作一遍，用HttpFox抓取过程。
需评论的文章网站发布的文章每天都在更新，每个文章的标识是由“/webApp/ArticleDetail.aspx?articleID=40413”中的articleID来标识的，所以要进入相应的文章页面，必须要找到目前存在的文章的articleID值。要进入每篇文章的页面，首先得进入包含近期最新10头更新文章的页面。
包含近期10篇更新文章的页面
获得近期更新文章的请求
抓取获得近期更新文章的请求，很多时候页面代码都是异步的，就是说通过firebug查看网页元素与http请求返回内容是不一样的，所以不能只观察网页源代码来找到我们想要的东西，仔细查找返回数据包中的content内容，一般text/css都是渲染网页，跟具体要查找的内容无关，直接跳过，专门查找text/html类型，可能包含需要的数据。这个请求中有两个text/html类型，第二个才是我们要找的，如下图。
找到对应的返回内容
这个里面就是没有经过网页渲染的原始的文章信息，包含了各个文章的标题，内容等信息，最重要是文章标识articleID号（这里面叫ID，确认了一下就是articleID的值），现在就要模拟请求来获得这段内容，并提取里面的ID值来进入每篇文章。
找到相应的请求头
同样，构造请求。
headers = {'Host': 'idj.wh.cn', 'User-Agent': 'Mozilla/5.0 (X11; Linux
i686; rv:45.0) Gecko/20100101 Firefox/45.0', 'Accept':
'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en-US,en;q=0.5', 'Accept-Encoding': 'gzip, deflate' ,
'Referer': 'http://idj.wh.cn/webApp/Articles.aspx?articleType=7',
'Cookie': cookie, 'Connection': 'keep-alive'}
shareUrl = 'http://idj.wh.cn/webApp/Handler/Share.ashx?articleID=7&pageNumber=0&pageSize=15&key=&first=&citys='
shareReq = requests.get(shareUrl, headers=headers).content.decode('utf-8')
requests的get方法返回的是响应码，所以使用content才能获得返回的具体内容，具体的内容是被utf-8编码过的，所以要解码为我们可以读的中英文。在具体的操作中可以通过print方法一步步打印，看到底返回了什么内容。
5 提取ID值。因为content的类型为字符串类型，观察content内容格式，像一个列表包含若干个字典文件，但是由于知识有限，所以没做到很好的转换，只能使用字符串的一些操作，先通过“}”分割成子字符串，然后查找每个子字符串中ID字符后面的5位数。找到了ID值，构造各个文章的链接就不难了，然后再通过构造请求，将要评论的内容post给页面。同理，实现了点赞功能。
sub = '"ID":'
shareList = shareReq.split('}') //分割返回内容
for each in shareList: //遍历每个被分割的子字符串
index = each.find(sub) + 5 //找到包含 “ID”： 的字符的位置，5是两个双引号，ID，一个’：‘的长度
articleID = each[index:(index+5)] //截取 “ID”： 后面的5位数，即是ID的值
url = 'http://idj.wh.cn/webApp/ArticleDetail.aspx?articleID='+articleID //构造每个文章的链接
data = {'sm': 'sm|btnWriteComment', 'comment': '赞', '__VIEWSTATE': '/wEPDwUJLTYzMzk5MDE5D2QWAgIBD2QWBAIBDxYCHgtfIUl0ZW1Db3VudAICFgRmD2QWAmYPFQExMjAxNzA3MjEvNzNkMDlhYjYtY2RlNi00M2E4LWE5NjEtOGNhYmM0MmY3NTE2LkpQR2QCAQ9kFgJmDxUBMTIwMTcwNzIxL2UxNjhjNjNlLWM5OTgtNDg3MS04ZTgwLWJmYzBhZWQ4MjZkOS5KUEdkAgMPZBYCZg9kFgQCAQ8WAh8AAgEWAgIBD2QWAmYPFQQSaGVhZHMvaGVhZGljb24ucG5nEDIwMTctMDctMjEgMjE6MjUJ6LW15pm25pm2A+i1nmQCAw8WAh4HVmlzaWJsZWhkZMt68hxd+2G4OMiMWU4TL/j7LzYeEIp4SfejvaO+N0lX', '__EVENTVALIDATION': '/wEdAAMvKo/trDQsYG2I2G7yJ8wDjbFtrvdkaHwUIWzSxLqXNoD/MsycNk2l8OAvtqF/UvNONScLHJ4hXAD/BtipZex8vUhBw43/tBzrigRnaIahag==', 'btnWriteComment': '评论'} //一定要去POST请求中查看POST Data的内容，构造成字典提交给服务器
commentResponse = requests.post(url, data=data, headers=headers)
if commentResponse.status_code==200:
print('评论成功!')
else:
print('评论失败!')
praiseUrl = 'http://idj.wh.cn/webApp/Handler/Article.ashx'
praiseData = {'action': 'praise', 'articleID': articleID}
praiseResponse = requests.post(praiseUrl, data=praiseData, headers=headers)
if praiseResponse.status_code==200:
print('点赞成功!')
else:
print('点赞失败!')
总结：这么简单的东西我也是摸索了好久，上网各种查资料，也是走了好多弯路，现在抓清楚了问题的实质，就是一定要在网页模拟一遍操作，在HttpFox里分析好各个请求，明确自己要找的数据，找到相应的请求，把有值请求头，POST Data数据全部提交给服务器，服务器对这些数据非常在意，这样就不会被浏览器展示给我们经过渲染的页面所欺骗了。
网友评论