最近帮朋友写一个脚本，用来刷新信息。具体的操作就是模拟用户登录之后，在用户的信息发布页面，对每一个页面，在固定的时间间隔内点击刷新按钮。我使用Python3 和 Requests库来实现了这个功能。Requests 是用基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。我们使用他的原因是他能更加方便的保存Session信息。
流程：
1. 解析页面表单构成，获取请求的头信息
2. 模拟浏览器登录
3. 保存Session，进入用户中心。
4. 解析页面，获取需要更新的页面。
5. 对每个页面的刷新按钮发起请求。
6. 休眠计时。
解析登录页面：
首先打开登录页面，通过chrome来审查表单结构与Request Headers的信息。根据信息来构建登陆时的提交头文件与登录信息。
模拟浏览器发起请求的头信息：
headers1 = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded',
'Origin': 'https://www.shicheng.one',
'Referer': 'https://www.shicheng.one/user/login',
'Upgrade-Insecure-Requests': '1'
}
用户登录表单，其中csrf是用户每次发起请求时动态生成的：
payload = {
"LoginForm[username]": "username",
"LoginForm[password]": "password",
"LoginForm[rememberMe]": 0,
"_csrf": "csrf"
}
动态获取CSRF
当我们每次向目标地址发起一个Request请求时，表单内部会动态生成一个csrf口令，并将其与html页面内容一起返回，因此我们可以通过解析页面内容来获取csrf口令。这里我们使用HTMLlParser来找到_csrf标签对应的内容。
class Myparser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self)
self.values = 0
def handle_starttag(self, tag, attrs):
def _attr(attrlist, attrname):
for each in attrlist:
if attrname == each[0]:
return each[1]
return None
if tag == 'input' and _attr(attrs, 'name') == '_csrf':
self.values = _attr(attrs, 'value')
def get_csrf(login):
data = login.text
par = Myparser()
par.feed(data)
return par.values
模拟浏览器登录
我们使用requests库实例化一个会话，然后使用我们构建的表单内容与Headers来进行登录，其中csrf是动态获取的。这样我们的信息就会被保存在这个对象中。
session_requests = requests.Session()
login = session_requests.get(login_url)
csrf = get_csrf(login)
payload["_csrf"] = csrf
login = session_requests.post(login_url, data=payload, headers=headers1)
为了检查是否请求成功，可以查看请求发回的状态码
login.status_code
解析用户页面并发起请求
在访问用户信息页面并刷新时，我们使用下面的头文件发起请求，其中referer是根据我们要访问的地址动态更新的。
headers2 = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded',
'Referer': '',
'Upgrade-Insecure-Requests': '1'
}
home是我们要访问的用户信息页面，我们从中提取列表中的网址，并解析出id。其中每个页面的内的刷新按钮是与对应的js相关联的，因为我们通过前面固定的网址与id动态构建出刷新请求的地址。最后我们按照刷新的cd，使用更新后的Headers发起刷新请求。
getstat = session_requests.get(home)
urls = list(set(re.findall(pattern1, getstat.text)))
ids = [re.findall(pattern2, url)[1] for url in urls]
refresh = ["https://www.shicheng.one/node/refresh?id=" + i for i in ids]
while True:
for r, url in zip(refresh, urls):
headers2['Referer'] = url
getstat = session_requests.get(r, headers=headers2)
print('Refresh at ' + time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
time.sleep(6 * 60 * 60)
完整代码
# coding: utf8
import re
import time
import requests
from html.parser import HTMLParser
class Myparser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self)
self.values = 0
def handle_starttag(self, tag, attrs):
def _attr(attrlist, attrname):
for each in attrlist:
if attrname == each[0]:
return each[1]
return None
if tag == 'input' and _attr(attrs, 'name') == '_csrf':
self.values = _attr(attrs, 'value')
def get_csrf(login):
data = login.text
par = Myparser()
par.feed(data)
return par.values
def run():
print("Press 'Ctrl+C' to exit...")
rule1 = r'http://www\.shicheng\.one/s1/\d+'
pattern1 = re.compile(rule1)
pattern2 = re.compile(r'\d+')
login_url = 'https://www.shicheng.one/user/login'
home = 'https://www.shicheng.one/member/index?id=16973'
headers1 = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded',
'Origin': 'https://www.shicheng.one',
'Referer': 'https://www.shicheng.one/user/login',
'Upgrade-Insecure-Requests': '1'
}
headers2 = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
'Content-Type': 'application/x-www-form-urlencoded',
'Referer': '',
'Upgrade-Insecure-Requests': '1'
}
payload = {
"LoginForm[username]": "username",
"LoginForm[password]": "password",
"LoginForm[rememberMe]": 0,
"_csrf": ""
}
session_requests = requests.Session()
login = session_requests.get(login_url)
csrf = get_csrf(login)
payload["_csrf"] = csrf
login = session_requests.post(login_url, data=payload, headers=headers1)
getstat = session_requests.get(home)
urls = list(set(re.findall(pattern1, getstat.text)))
ids = [re.findall(pattern2, url)[1] for url in urls]
refresh = ["https://www.shicheng.one/node/refresh?id=" + i for i in ids]
while True:
for r, url in zip(refresh, urls):
headers2['Referer'] = url
getstat = session_requests.get(r, headers=headers2)
print('Refresh at ' + time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
time.sleep(6 * 60 * 60)
if __name__ == '__main__':
run()
网友评论