最近的项目在做一些数据方面的集成，五花八门的系统对应的接口更是千奇百怪，数据集成的过程总结成八个字就是：逢山开路，遇水架桥。

恰好这两天碰到一个问题，我们要集成的WEB系统没有提供专门的数据集成接口，没有API可以调，数据库更是不让访问，万般无奈之下，我在想是否可以用python自动爬取页面。web页面有SSO，用的应该是开源的CAS框架，并且后面的页面全都是由动态JS、AJAX异步加载进去的，这显然不像普通的静态页面那样直接用Scrapy上去就是一顿干，要完美的模拟登陆动作并且还要爬取后面的动态内容，对页面结构和爬取内容的分析是必不可少的。

工具

• Chrome
  页面分析工具非常简单，只需要最新版本的Chrome浏览器即可
• python3
• requests

分析登录页面

打开登录页面，按F12打开Chrome自带的分析工具，在Network选卡上可以看到当前浏览器显示页面和提交登录信息的详情，如下图

某网站登录页面

从截图上可以看到，当我们访问app/这个url的日志，因为我们还没有登录过，SSO会把我们自动重定向到登录页面，所以http status是302重定向。

接下来我们在页面上输入账号密码，点登录按钮，通过页面追踪分析并模拟整个登录过程，这个过程要尤其仔细，因为很多CAS在登录页面上埋了很多隐藏的标记，一个地方模仿的不对可能就会登录失败然后又被重定向到开始的地方。

分析登录过程

从分析可以看到，登录按钮提交的时候会用POST方式提交一个表格，而表格里面的除了账号密码等显眼的字段以外还有一个lt，经验告诉我们这个字段应该隐藏在之前的登录页面上，用来校验登录页面的合法性，所以我们要从登录页面上找到并提取这个信息。同时还要注意http的消息头，最好按照浏览器抓取的消息头去构造，因为网站同样会校验这里面的信息。
下面是登录的主要代码，我们基于python3和requests包来处理https访问请求，模拟浏览器的行为将认证需要的信息构造出来发给网站。

import requests
import urllib3
from lxml import etree

from ows_scrapy.ows_spider.write_csv import write_list_to_csv

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)


s = requests.session()
s.trust_env = False     # faster
cookie = None

username = 'username'
password = 'pwd'


def login():
    header = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Connection': 'keep-alive',
        'Cookie': 'JSESSIONID=73E10849812940333A4AD2A2ABAEFB7D8CFF3E76A45340FFB687FD587D2EB97A49FC5F156D09DB1E17F129465AB8D8EBACEC',
        'Host': '<your web url>',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }

    form_data = {
        'username': username,
        'password': password,
        '_eventId': 'submit',
        'pwdfirst':  password[0:2],
        'pwdsecond': password[2:5],
        'pwdthird': password[5:]
    }

    login_url = 'https://<your web url>.com/app/'
    print('login...')

    res = s.get(login_url, headers=header, verify=False)
    global cookie
    cookie = res.cookies    # 注意要保存cookie
    print("get response from ows {0}, http status {1}".format(login_url, res.status_code))

    login_url = res.url
    header['Referer'] = login_url
    header['Cookie'] = 'JSESSIONID=' + cookie['JSESSIONID']
    form_data['lt'] = str(etree.HTML(res.content).xpath('//input[@name="lt"]/@value')[0])   #用xpath从页面上提取lt

    res = s.post(login_url, headers=header, params=form_data, cookies=cookie, allow_redirects=False, verify=False)
    cookie = res.cookies
    print("post login params to {0}, http status {1}, cookie : {2}".format(login_url, res.status_code, cookie))

    res = s.send(res.next, allow_redirects=False, verify=False)
    cookie = res.cookies
    print("redirect to {0}, http status {1}, cookie : {2}".format(login_url, res.status_code, cookie))

    if res.status_code == 200 or res.status_code == 302:
        if cookie is not None and cookie.get(name='JSESSIONID', path='/app') is not None :
            print('Successful login.')
        else:
            print('WRONG w3id/password!')
            sys.exit(0)

这里要特别注意一点，因为http是无状态的，web页面要保存登录状态需要用到cookie，等成成功以后页面的response里面会包含一个带有有效标记的cookie，登录最终的目标就是获取并保存这个有效的cookie，这样后续的访问就不会被重定向到登录页。
在requests的方法里面只要向这样吧cookie带到请求里即可

res = s.post(login_url, headers=header, params=form_data, cookies=cookie, allow_redirects=False, verify=False)

分析动态内容页面

在动态页面里，页面上显示出来的内容往往都是js或者AJAX异步获取到的，跟静态html页面的分析过程有明显的不同。用Chrome的分析工具也可以很容易的获取到该信息。

分析动态页面

在动态页面加载完成后，我们从所有的请求中过滤XHR类型，从中找到我们要的那一次请求，然后在该请求的Preview里面就可以看到完整的相应信息，同时该请求的URL也可以从Headers选卡中得到。

接下来要做的事情跟上面类似，构造报文模拟浏览器向该网站发送请求：

def get_content(order_id):
    form_data = {
        'roarand': 'BW09el5W3mW2sfbGbtWe7mWlwBsWqXg6znppnqkW3woJ5fcz5DnhfWXGonqkLsd0',
        'start': '0',
        'limit': '20',
        'orderid': order_id,
        'serviceId': 'test_gscsocsecurityincidentmanage_log_getList2'
    }

    header = {
        'Accept': 'text/plain, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Connection': 'keep-alive',
        'Content-Type': 'application/x-www-form-urlencoded;charset=UTF-8',
        'Host': '<your web>.com',
        'Origin': 'https://<your web>.com',
        'Referer': 'https://<your web>.com/app/104h/spl/test/ID_480_1511441539904_workflowdetail.spl?orderid=SOC-20180220-00000003',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest'
    }
    print('Start to scan order id ' + order_id)

    url = 'https://<your web>.com/app/pageservices/service.do?forAccessLog={serviceName:test_gscsocsecurityincidentmanage_log_getList2,userId:571bdd42-10ca-4ce1-b41c-8a3f6632141f,tenantId:104h}&trackId=fec68f8e-f30a-4fa1-a8b1-41d3dd11fa4c'
    res = s.post(url, headers=header, params=form_data, cookies=cookie, allow_redirects=False, verify=False) #要加载上面登录成功的cookie
    print(res.content)
    return res

要点其实就是从XHR里找到请求的URI，构造请求报文头和提交表格，最后务必要加上登录成功的cookie，否则会被重定向到登录页面。

抓取动态页面的方法还有很多，这种方法依赖的包相对较少，代码比较灵活，在爬取复杂的登录页面的时候效果比较好，只是在分析页面登录机制的时候要尤其细心。