前言

经过前面的学习，相信大家对爬虫和Web网站构成有了一定的了解。在本次分享中，我将为大家带来新的内容：信息校验反爬虫。

信息校验中的“信息”指的是客户端发起网络请求时的请求头和请求正文。

而“校验”指的是服务端通过信息的正确性、完整性或唯一性进行验证和判断，从而区分正常用户和爬虫程序的行为。

在web应用中，用户每次切换页面或者是点击链接时都有可能会产生一次网络请求，这些网络请求先经过服务器，然后转发到对应的后端程序。对于每一个大网站来说，每天都会有成千上万的请求，这些记录的发起者包括正常用户和爬虫程序，要怎么样确认用户身份呢？

接下来，我们通过有道翻译爬虫来学习信息校验反爬虫。

信息校验反爬虫

User-Agent反爬虫

User-Agent反爬虫指的是服务器端通过校验请求头中的User-Agent值来区分正常用户和爬虫程序的手段，这是一种较为初级的反爬手段。

Cookie反爬虫

Cookie反爬虫指的是服务器端通过校验请求头中的Cookie值来区分正常用户和爬虫程序的手段，这种手段广泛应用在web中。

签名验证反爬虫

签名是根据数据源进行计算或加密过程，签名的结果是一个具有唯一性和一致性的字符串。签名结果的特征使得它成为验证数据来源和数据完整性条件，可以有效避免服务器端将伪造的数据或篡改的数据当成正常数据处理。

签名验证是防止恶意连接和数据被篡改的有效方式之一，也是目前后端API最常用的防护手段之一。

有道翻译

本次带来的实战内容是有道翻译爬虫。有道翻译的实现就是使用签名验证反爬虫。

网页分析

在没有输入翻译内容之前，网页端是不会出现这些数据的，只有通过用户输入之后，才会出现翻译的内容。因此，判断这些翻译数据是通过异步加载出来的。

接下来，我们需要通过抓包进行分析了。如下图所示：

image

在文本框中输入需要翻译的内容之后，我们便可以看到有一个数据包出现了，这个数据包是不是就是我们需要的呢？

image

从上图，我们不难发现，这个数据包返回的内容就是我们需要的，因此我们现在要做的事情就是分析数据包。

数据包分析

image

从上图，我们看到了请求接口的URL地址以及可以知道，这个请求是一个post请求，因此我们也可以推断出，肯定会有一个form表单提交。提交内容，如下图所示：

image

但是，每一次提交的表单数据都是一样的吗？

为了验证我们的猜想，我们再输入其他内容进行翻译，再抓另一个包进行分析。

image

从上面两张图中，不难发现变化的数据有：salt、sign、lts。

我们可以根据字段的名或者值进行大胆的猜测。

• action和keyfrom用来区分客户端类型。
• sign、salt、lts是随机生成的用于反爬虫的字符串。
• sign值的长度是32位的随机字符串，可能是MD5加密之后得到的结果。
• salt与lts的值相似度很高，前者比后者多了一位数。经过多次测试发现，lts的值是用户在文本框中输入文字时的时间，因此，lts是时间戳。
• salt的值比lts多一位，并且多出的值是0-9中随机生成的。

js文件分析

我们首先来看看sign的生成方式是怎么样的。经过搜索与定位之后，确定了sign的生成方式，如下图所示：

image

很明显，我们猜测的并没有错误，sign确实是由md5加密之后实现的。

再往下滑一些之后，你会看到令你惊喜的一幕。

image

这些数据不就是我们之前看到的表单数据的吗？

有没有感觉幸福来得太突然呀！

通过上面的两张图，可以发现，我们的猜测都是正确的。

接下来我们的任务就是要知道sign的生成方式了。

sign的生成

image

从上面的图片我们不难发现sign是由“fanyideskweb”、e、i和“Tbh5E8=q6U3EXe+&L[4c@”组合而成的字符串进行加密。

不难发现 i 是一个0-9的随机数，那么e是什么呢？我们可以通过打断点来确定。

image

从上面的图片，可以看到e的值其实是我们需要翻译的文本。

需要提交的表单数据我们都分析完毕了，接下来就可哟开始撸代码了！！

代码实现

获取salt、sign和lts

# word：需要的翻译内容
def get_salt_sign_ts(self, word):
        # 获取ts
        ts = str(int(time.time()*1000))
        # salt
        salt = ts + str(random.randint(0, 9))
        # sign
        sign_string = "fanyideskweb" + word + salt + "Tbh5E8=q6U3EXe+&L[4c@"
        md = md5()
        md.update(sign_string.encode())
        sign = md.hexdigest()
        return ts, salt, sign

实现md5加密时，需要先创建一个md5对象，再调用update()方法，并传入字符串的二进制数据，最后再调用hexdigest()，即可实现加密。

表单构建

def get_data(self, ts, salt, sign, word):
        data = {
            'i': word,
            'from': 'AUTO',
            'to': 'AUTO',
            'smartresult': 'dict',
            'client': 'fanyideskweb',
            'salt': salt,
            'sign': sign,
            'lts': ts,
            'bv': '3da01a09873456cfb5dba05f2124b148',
            'doctype': 'json',
            'version': '2.1',
            'keyfrom': 'fanyi.web',
            'action': 'FY_BY_REALTlME'
        }
        return data

获取翻译内容

def get_info(self, data):
        json_data = requests.post(url=self.url, data=data, headers=self.headers).json()
        translate = jsonpath.jsonpath(json_data, '$..tgt')[0]
        return translate

注意，这里是post请求，并且返回的内容是json格式的数据，可以直接使用jsonpath这个库，就可以将翻译内容解析出来。

结果展示

image

成功的实现了中英互译。

最后

没有什么事情是可以一蹴而就的，生活如此，学习亦是如此！

因此，哪里会有什么三天速成，七天速成的说法呢？

唯有坚持，方能成功！

啃书君说：

文章的每一个字都是我用心敲出来的，只希望对得起每一位关注我的人。在文章末尾点【赞】，让我知道，你们也在为自己的学习拼搏和努力。

路漫漫其修远兮，吾将上下而求索。

我是啃书君，一个专注于学习的人，你懂的越多，你不懂的越多。更多精彩内容，我们下期再见！