思路

还记的上一篇文章里使用的Cookie吗？由于每次登陆淘宝的Cookie都不一样，所以每次都要手动登陆获取新的Cookie。这里我想研究一下怎样用程序获取这个Cookie。

分析报文

手动登陆淘宝并抓取报文，这里要注意的是如果页面发生跳转造成报文丢失，则需要勾选Preserve Log, 同时在跳转之前按个点一下每个报文用来缓存，否则跳转之前的报文虽然都在，但不能查看具体的内容。

经过分析，Cookie值得来源主要来自两个关于login.jhtml的POST请求，第一条是你访问登陆页面时的报文，第二条则是你输入账户密码之后点击登陆按钮后发送的报文，如图：

taobao-登陆-login.jpg

响应头里面包含了set-cookie字段， HTTP cookie：

An HTTP cookie (also called web cookie, Internet cookie, browser cookie, or simply cookie) is a small piece of data sent from a website and stored on the user's computer by the user's web browser while the user is browsing.  

最后，因此这部分就是我们要的Cookie，处理的时候将后面的Domain和Path去掉，然后将剩下的部分保存下来即可。

这里的难点在于，第二条报文带很多FormData，大多数很容易理解也很容易获得，除了ncoToken, gvfdcre, um_token, 和 ua，同样这些值应该会在其他报文中找到计算方法，前提是都能看懂。不幸的是，我看了半个小时后没有找到具体的计算um_token的方法。之后我就放弃了，因为我还知道一种曲线救国的方法。

使用Selenium模拟浏览器行为

在上篇文章淘宝抓取所有订单中，在获取ua值时我就用到了Selenium+PhantomJS来模拟浏览器执行Javascript并获得脚本运行后的结果。这里简单再介绍下Selenium。

Selenium的官方文档是Selenium with Python。安装Selenium非常简单pip install selenium，除了安装，要正常使用Selenium还需要一个浏览器驱动并安装对应的浏览器本身，比如说如果你要模拟Chrome，你至少需要一个能正常使用的Chrome浏览器和一个Chromedriver，后者文档里有下载地址，Driver是一个可执行文件，你需要把它的目录添加到环境变量Path中。目前Selenium支持四种浏览器：Chrome，Edge，Firefox和Safari。当然也支持PhantomJS，不过在运行的时候会输出警告信息，另外几种浏览器也都支持无界面访问模式。

显然，这种组合很适合一个场景：WEB自动化测试。不过结合Python做爬虫，也非常有用。浏览器用来解析JS文件，通过Webdriver与Selenium连接，Selenium再通过一些API供Python使用达到与浏览器交互的目的（也有其他语言的API）。

目前Selenium提供了7中用来定位网页元素的接口，可以分别通过ID、Name、XPath、链接文本、标签名、类名和CSS选择器来定位元素。定位元素成功后，你可以与网页进行交互：进行表格填写，拖放，窗口交互，对话框操作，访问历史记录以及操作Cookies。你也可以设置等待浏览器解析并完成js加载之后再进行内容抓取。具体的API和其他特性可以参考官方文档。

如果要模拟淘宝账号登陆，需要填写两个文本框，单击一次登陆按钮，最后抓取获得到的Cookie。

如果要模拟二维码登录，需要先点开二维码，然后等待手机扫码，跳转时抓取Cookie。

不幸的是，第一种方法没有成功，就是那种理论上都没问题，但就是不成功的情况，后面我会细说。第二种方法可以成功。

代码

账号密码登陆

我这里使用URL是否以https://login.taobao.com开头来判断是否登陆成功。关于账号密码的登陆逻辑是这样的：

1. 判断是否处于登陆页面，不是的话跳转到6，否则继续；
2. 填写用户名和密码，判断是否有滑动块；
3. 如果滑动快的文字是验证通过, 跳转到5；
4. 判断文字是否是请按住滑块，如果是，定位滑块，并向右拖动滑块；其他情况，输出错误信息（这里只考虑了一种验证模式）；
5. 定位登陆按钮并点击，等待5s，回到1；
6. 获取Cookies。

这里的难点在于滑动块的处理，首先只要是用selenium必定会要求滑动块检测（至少我没遇到不要的情况）；其次，淘宝肯定对拖动滑动块是否由人类完成有一个非常严格的判断，并且很可能会因为失败的次数增加而变得更加严格，我这么说，是因为我没有成功！

我在网上查到说这类滑块的操作，会综合考虑你拖动时鼠标的走向、移动的停歇、总时间等等等等因素。我在网上找到一片文章写了如何使用GhostMouse软件录制鼠标操作：滑动验证码破解。我录制了能够通过验证的鼠标操作，之后根据这个操作记录用Python计算出偏移量，从而让爬虫能模拟出我的验证操作。但这没有成功，我后来甚至发现直接用GM的录制回访功能，同样的操作第一次能成功，第二次也不能成功。等到后面测试多了之后，几乎是100%失败，即使人工操作都不行。现在的效果大概是这样：

taobao-登陆-结果.gif

除了最后不能成功之外，其他都没问题。我仍然把代码贴在这：

from selenium import webdriver  
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random

# 你的账户密码
username = "username"
password = "password"

options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")  
driver.implicitly_wait(5)


def get_track_from_GM():
    file = open("human2.gms")
    # 这是滑块的位置，需要自己调整
    x, y = 1176, 413
    res = []
    while True:
        line = file.readline().strip()

        if not line:
            break

        data = line.split(" ")
        pos = (int(data[0])-x, int(data[1])-y, random.randint(0,10)*0.01)
        res.append(pos)
        
    file.close()
    return res

def Login_by_Account():
    while True:
        url = driver.current_url
        if not url.startswith("https://login.taobao.com"):
            break

        # 填写用户名和密码
        driver.find_element_by_id("TPL_username_1").clear()  
        driver.find_element_by_id("TPL_password_1").clear()  
        driver.find_element_by_id("TPL_username_1").send_keys(username)
        driver.find_element_by_id("TPL_password_1").send_keys(password)

        # 处理验证
        text = driver.find_element_by_id("nc_1__scale_text").text

        if not text or text == "验证通过":
            pass
        elif text.startswith("请按住滑块"):
            slider = driver.find_element_by_id("nc_1_n1z")
            print (slider.location)

            action = ActionChains(driver)  
            action.click_and_hold(slider).perform()  
            action.reset_actions()  

            res = get_track_from_GM()

            for i in res:
                action.move_by_offset(i[0], i[1]).perform()
                action.reset_actions()
                time.sleep(i[2])

            action.release().perform()
            action.reset_actions()
        else:
            print ("[ERROR]文本内容是:" + text)
            break

        # 点击登陆按钮
        driver.find_element_by_id("J_SubmitStatic").click()
        time.sleep(5)

    cookies = driver.get_cookies()

    res = ""
    for cookie in cookies:
        res += cookie.get('name')+'='+cookie.get('value')+';'

    res = res[:-1]
    print (res)

    driver.quit()
    
if __name__ == '__main__':
    Login_by_Account()

这里的human2.gms文件是GhostMouse录制后保存的内容，它的结构很简单：

...
1208 504 1 0
1211 504 1 0
1214 504 1 0
1216 504 1 0
1219 504 1 0
...

前两个数字分别是坐标轴的x和y值，像这类坐标，都是以父窗口的左上角为原点，向右是x正向，向下是y正向。注意selenium提供的move API的参数是位移，需要自己计算；后两个数字分别代表鼠标的左键和右键，1表示按住，0表示没有。

二维码登录

经历了很多次账号密码登陆的失败后，我又想到了一个退而求其次的办法：通过手机扫描二维码登录。逻辑会简单点，但你需要人工用手机扫一下二维码：

1. 打开网页，定位到二维码标签，点击，让登陆框载入二维码。
2. 等待扫码，同时判断二维码是否过期，过期则刷新二维码。
3. 判断URL是否跳转，如果跳转说明成功登陆，抓取Cookie。

代码如下：

from selenium import webdriver  
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random

username = "username"
password = "password"

options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")  
driver.implicitly_wait(5)

def Login_by_qcode():
    qcode = driver.find_element_by_id("J_Static2Quick")

    action = ActionChains(driver)  
    action.reset_actions()
    action.move_to_element(qcode)
    action.move_by_offset(20, -20).click()
    action.perform()

    while True:
        url = driver.current_url

        if not url.startswith("https://login.taobao.com"):
            cookies = driver.get_cookies()
            res = ""
            for cookie in cookies:
                res += cookie.get('name')+'='+cookie.get('value')+';'

            res = res[:-1]
            print (res)
            break

        try:
            refresh = driver.find_element_by_class_name("J_QRCodeRefresh")
            refresh.click()
        except:
            pass

        time.sleep(6)

    driver.quit()

if __name__ == '__main__':
    Login_by_qcode()

打印出来的Cookie可以直接复制粘贴到上一篇文章中Cookie变量里面。执行后，可以直接抓取到订单信息：

进度条

之前我提到过，程序抓取数据的时间其实不算短，这时候使用一个进度条可以有效的缓解等待的紧张感，同时也可以知道程序仍在工作，没有进入死循环。

第一种

import time
total = 1000
for i in range(0, total, 7):
    print("{0:.2f}%".format(float(i/total)*100), end="\r")
    time.sleep(0.05)

第二种

progressbar2库了解一下，果然大家都有相同的困扰。