本章节是最重要，也是最复杂的章节，因为这里面涉及到的点比较多。直至我编码完成后，我还有几个问题没有解决，希望各位网友有好的思路可以提供给我，具体的问题在之后的描述中我会说明。
思路解析
如下图，我们可以得到当前商品的xpath路径 //*[@id="filter-results"]/ul/li
在根据第二张图我们又可以得到单独商品的价格，标题，链接地址等等信息
看上去好像非常的简单，其逻辑和商品类别爬取类似。首先得到所有的商品，然后循环，对实体类别，最后返回一个list列表就行。可是实际却并不是如此。我们接下去就对内容进行分析。
商品解析图1.png
商品解析图2.png
问题1 所见非所得
我们首先来看俩张对比图，第一张图是我们请求当前页面会返回给我们的Html Document数据，我们之前做的爬取都是基于Document的爬取。在图1中我们去找寻第一个商品的价格，我们发现<em>标签中内容为空，这是为什么呢？
之后我们再来看第二张图，第二张图是F12通过开发者工具定位在第一个商品的价格，这时候我们发现，价格是存在的。
此时，我们就要开始提示了，是什么样子情况才会导致这种问题的产生。各位看客也可以想一想。
经过分析后，我们得出了结论
京东做了反爬处理，即不会把一些重要信息直接作为response返回，而且在网页加载结束之后，通过js在将对应的值赋值上去。
抽象来讲，用一个成语，画龙点睛。
先画好结构，最后赋值。这种在一定程度上能否对小白进行一些反爬虫，可是如果有点水平的人，我们通过分析f12的web请求，我们就可以发现，无非就是用了一个jsonp的方式，做了值的获取
所见非所得1.png
所见非所得2.png
上面我们说到苏宁用了jsonp的方法做了价格的获取，那么我们怎么查看呢，见图所示
分析我们得到，每次得到5个值，页面上一行也是5个商品。
所以他们的做法是，当每次鼠标向下移动，下一行商品出现的时候，执行一个jsonp方法，将对应的内容进行绑定
jsonp获取1.png
jsonp获取2.png
那么我们又迎来了新的问题，这个jsonp的方法是通过什么样的规律生成接口获得数据的呢
我们取俩个案例进行分析，我们发现方法头和尾部都是标准jsonp的用法，那么只有中间的参数会有影响。
我们可以看到，参数由逗号分隔，参数形式总共有俩种
- 参数1+下划线 000000010088601142_
- 参数1+下划线+2+参数2 000000000617721823__2_0070137013
那我们开始对这俩种参数形式进行分析
参数1和参数2分别是什么？我们不妨大胆猜测一下，有没有可能是商品的唯一key
还有一点，如果是商品的唯一key，我们如何获取？
通过分析，我得到了结论，请大家看如下图红框圈出来的内容，我们发现也是俩中形式，一种是参数1+参数2 ，一种是参数1+0000000
example:
0000000000-10044087492
0070207958-10526739331
分析1.png
分析2.png
分析3.png
分析4.png
我们可以通过打黄色标识的俩张图发现规律，页面上的内容和jsonp方法体组成的内容是相反的，所以我们需要在获取内容后，将顺序颠倒，然后按照规定的字符串长度进行拼接即可
网友评论