python爬虫-有道翻译(js分析)

网络爬虫，是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护。于是，很多网站开始反网络爬虫,想方设法保护自己的内容。 ------摘自百度百科

本文以有道翻译为例作为讲解，使用的 python 3.5.2 版本 ，涉及到反爬虫手段有 sign签名、时间戳，逆向解析 js 来确定签名算法。

有道翻译分析

http://fanyi.youdao.com/ (感谢有道！)

1、抓包分析

• 观察后发现有道是在输入关键字翻译后通过发起ajax请求来获得json数据，翻译结果在json响应中。

• 首先打开有道翻译的网址和浏览器的开发者工具(这里使用chrome)，把之前加载的包清空，然后有道网页来获取包。

• 查看后可以看到刚开始 ajax 请求为空，同时加载了一堆js文件。

  
  开发者工具抓包

• 输入一个需要翻译的词，如：china ，点击翻译，再用开发者工具查看，出现一个ajax请求，从 response 分析就是得到了翻译结果的json数据

  
  ajax请求

• 这时需要分析ajax 请求包，查看请求的信息，发现这是一个post请求，可以看到post的表单数据和url，多查询几次可以发现表单数据中只有 salt 和 sign 两个字段是变化的，所以我们要找到这两个字段是构建的算法，从经验来看 salt 字段很像一个时间戳的变换，这需要进一步验证。

  
  分析请求

• 接下来到所有的 js 文件中查找 ajax 请求的源码以及构建 form data 的算法。最后查到 是在 fanyi.js 文件中进行的请求。

  
  查找发送ajax的js

• 把 fanyi.js 文件源码复制到编辑器中，使用格式化插件格式化一下，得到便于我们查看的格式源码，这样更便于分析。于是找到了以下的内容，有了这些源码就可以分析了，salt 的确是时间戳，后面加了随机数，sign 是几个数相加后进行 md5 加密得到的：

  
  分析js源码

2、构建数据，发起请求

有了以上的数据，我们就可以开始构建请求了，做一个使用有道翻译这个 api 进行翻译的小程序，这里有一个要注意的地方，请求中获取的url 需要去除 “_o” ：

http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=

代码如下：

import random
import requests
import time
import hashlib
import json
 
 
class YouDaoTrans(object):
 
    def __init__(self, keyword):
        self.url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom='
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'
        }
        self.keyword = keyword
        self.form_data = {
            "i": keyword,
            "from": "AUTO",
            "to": "AUTO",
            "smartresult": "dict",
            "client": "fanyideskweb",
            "salt": self.get_salt(),
            "sign": "",
            "doctype": "json",
            "version": "2.1",
            "keyfrom": "fanyi.web",
            "action": "FY_BY_CLICKBUTTION",
            "typoResult": "false"
        }
 
    # js的代码： f = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
    # 通过13位的时间戳加上一个随机的个位数
    # python 中的时间戳是 10位加小数点，可以乘以 1000 取整
    def get_salt(self):
        # 获取时间戳
        timestamp = time.time()
        # 生成salt
        salt = int(timestamp*1000) + int(random.random()*10)
        return salt
 
    # var g = n.md5(u + d + f + c);
    # sign 通多几个数相加然后进行 md5 加密
    def get_sign(self):
        u = self.form_data['client']
        d = self.form_data['i']
        f = self.form_data['salt']
        c = "rY0D^0'nM0}g5Mm1z%1G4"
 
        str_data = u + str(d) + str(f) + c
 
        # md5加密
        m = hashlib.md5()
        m.update(str_data.encode('utf-8'))
        sign = m.hexdigest()
 
        return sign
 
    # 翻译过程
    def translate(self):
        response = requests.post(self.url, data=self.form_data, headers=self.headers)
        dict_result = json.loads(response.content)
        print(dict_result['translateResult'][0][0]['tgt'])
 
    # 开始运行
    def start(self):
        self.form_data['sign'] = self.get_sign()
        self.translate()
 
 
if __name__ == '__main__':
    while True:
        keyword = input('请输入要翻译的内容, 输入 need-quit 退出:')
        if keyword == 'need-quit':
            break
        youdao = YouDaoTrans(keyword)
        youdao.start()

个人博客：python爬虫-有道翻译(js分析)