scrapy +selenium +chrome 爬取天猫指定商

1.首先对要爬取页面的地址进行分析

第二页的地址

https://list.tmall.com/search_product.htm?cat=53636001&s=60&q=%CF%C4&sort=s&style=g&search_condition=23&from=sn_1_rightnav&active=1&industryCatId=53636001&type=pc#J_Filter

第三页的地址

https://list.tmall.com/search_product.htm?cat=53636001&s=120&q=%CF%C4&sort=s&style=g&search_condition=23&from=sn_1_rightnav&active=1&industryCatId=53636001&type=pc#J_Filter

由此可以分享出 改商品的地址为：

https://list.tmall.com/search_product.htm?cat=53636001&s=120第三页

https://list.tmall.com/search_product.htm?cat=53636001&s=60第二页

https://list.tmall.com/search_product.htm?cat=53636001&s=0第一页

前一页+60 等于下一页

然后进行 页面分析

由此可以

由此可以看到 我们需要的价格  使用xpath 把价格匹配出来 response.xpath("///div[@class="product-iWrap"]/p[@class="productPrice"]/em/text()")

获取到了当前页面的价格

配置setting.py