一、目标网站选取和分析
1、目标网站地址选择
车享家:http://jia.chexiang.com/t/stores.
2、目标网站分析
a、获取全部城市的编码和名称(具体如图操作)
首次刷新网址,加载的请求列表就可以看到获取城市的post请求地址:
请求地址:http://jia.chexiang.com/city/getAllCityList.htm
请求方法:POST
传参:无
b、获取门店信息(具体如下)
城市编码、城市名称、门店名称、门店地址、电话、手机、经度和维度信息
输出结果如图所示,也是json格式,和城市类似处理形式
3、目标网站爬取
爬取具体内容见代码
获取城市信息
获取门店信息
保存到记事本文件中
主方法
运行结果:
4、总结
本次主要针对之前web scraper不支持的一个简单总结,此篇内容适合爬取汽车主机厂官网经销商和服务商信息
网友评论