资源收集
在写爬虫之前，一定要先在知乎、简书、CSDN、github这种网站上查查有没有人做过类似的事情。目的并不一定是抄他们的代码，而是看他们是怎么分析的，他们都发现了哪些网站的反爬措施，又是怎么解决的。通过看他们的文章和代码，可以让自己少走很多弯路。我这次写爬虫就是参考了一篇文章和一个代码。
本篇内容是分析百度指数的获取数据的接口，大家感兴趣的话可以实操一下
接口分析
界面构成
首先百度指数的首页链接是http://index.baidu.com/，打开之后就可以看到如下界面：
然后我们在关键词里搜索信息，就可以查看百度指数结果了：
- 点击1位置可以调整查看的时间范围
- 点击2位置可以选择PC、移动、PC+移动端
- 点击3位置可以切换全国的不同省份
- 拖动4的时间轴也可以达到点击1位置同样的效果
接口分析
然后我们就来分析一下接口了，所谓分析接口就是，找出来这个界面的那些数据，是从哪里弄过来的。想要想搞清楚这个问题，我们要3步走：
- 在浏览器上按F12
- 点击"Network"
- 刷新页面
现在我们就会看到这么一大堆浏览器向服务器发送的请求。我们需要的，获得搜索次数的请求肯定也藏在其中。那么问题来了，哪个是呢？？？？？
不慌，问题不大，首先呢，我们点击这个"XHR"，进行筛选(不要问我为什么按这个，按！就对了)
我们来看哈，现在请求已经被我们一下子筛选的这么这么少了，那我们就只能，一个一个看了
对于每一个请求呢，我们先要点击请求，然后点击右边的"Preview"，就可以看到请求的内容了。经过查看。这个请求一看就是我们需要的东西：
你看它长得多好看，有all，有pc，有wise。每个里面有startDate(开始时间的意思，英语不行我就没辙了)，endDate和data。除了data长得很奇怪好像其他的都还行。那其实这就很难受了，这个data一看就是经过加密了。那么这个问题严重么？啊，其实还蛮严重的。不过不要紧，我们知道既然服务器把加密后的数据发给我了，那么解密的方法一定在代码里，我们就来猜猜看，哪段代码是用来解密的就可以了。
具体咋办呢？问题来了，解密的英语是什么啊？decrypt！好的，我们猜猜看，百度的程序员会不会把解密的程序命名为了decrypt呢？我们来搜索一下，点击这个小搜索框，输入decrypt再回车就好了。
激动人心的时刻到了，果然搜到了两条记录，点开一看，完美！我们貌似找到了一个解密的代码：
我们看到解密需要t和e，t是我们要解密的内容，就是前面的data，那么e呢？e明显就是解密用的秘钥了，那么e怎么来得？？？经过分析，它是其它的请求发来的：
这个里面的data，就是我们解密用的秘钥了！但是这个请求有一个uniqid参数，它是哪来的？？？咦，貌似我们最上面返回数据的请求，有一个uniqid哎！没跑了，就是它！
接口总结
好的，现在我们来捋一下流程：
- 首先
index?area=0.....的那个请求会发回来搜索数量，不过是加密后的结果，我们需要解密。并且这个接口会返回一个uniqid字段，这个字段在后面会用到 - 解密的方法在decrypt函数里，其中需要需要被解密的密文，就是上面我们获得的data，以及解密的秘钥
- 秘钥是通过
ptbk?uniqid...这个请求来发送的，不过这个请求需要一个uniqid参数，这个参数在我们前面的index请求里就可以拿到
这样一来我们爬虫最核心的内容就有了：
-
首先请求index，拿到密文和uniqid:
def get_encrypt_datas(self, start_date, end_date, keywords): params = { 'word': ','.join(keywords), 'startDate': start_date.strftime('%Y-%m-%d'), 'endDate': end_date.strftime('%Y-%m-%d'), 'area': self.area } url = 'http://index.baidu.com/api/SearchApi/index?' + urlencode(params) html = self.get(url) datas = json.loads(html) uniqid = datas['data']['uniqid'] encrypt_datas = [] for single_data in datas['data']['userIndexes']: encrypt_datas.append(single_data) return (encrypt_datas, uniqid) -
然后根据uniqid去拿到解密的秘钥：
def get_key(self, uniqid): url = 'http://index.baidu.com/Interface/api/ptbk?uniqid=%s' % uniqid html = self.get(url) datas = json.loads(html) key = datas['data'] return key -
最后照着抄解密函数哈哈哈哈
def decrypt_func(self, key, data): a = key i = data n = {} s = [] for o in range(len(a) // 2): n[a[o]] = a[len(a) // 2 + o] for r in range(len(data)): s.append(n[i[r]]) return ''.join(s).split(',') -
我们来看一下解密的结果：
已经解密成数字了，这样就，大功告成！
写在最后
其实感觉，这个爬虫真的还挺难的。百度的反爬和其它不太一样。百度对于访问的频率以及请求的Cookie的更新并没有太大的反爬加入。百度的反爬措施主要在于加密。当然，它同样恶心哈哈哈。
下一篇我们将说说，其它方面，百度还给我们准备了什么坑，等着我们跳！
网友评论