美文网首页
爬虫脚本篇-车享家服务门店信息爬取(原创)

爬虫脚本篇-车享家服务门店信息爬取(原创)

作者: WoodyWu | 来源:发表于2019-02-27 16:37 被阅读0次

    一、目标网站选取和分析

    1、目标网站地址选择

    车享家:http://jia.chexiang.com/t/stores.

    2、目标网站分析

    a、获取全部城市的编码和名称(具体如图操作)

    首次刷新网址,加载的请求列表就可以看到获取城市的post请求地址:

    请求地址:http://jia.chexiang.com/city/getAllCityList.htm 

    请求方法:POST

    传参:

    b、获取门店信息(具体如下)

    城市编码、城市名称、门店名称、门店地址、电话、手机、经度和维度信息

    输出结果如图所示,也是json格式,和城市类似处理形式

    3、目标网站爬取

    爬取具体内容见代码

    获取城市信息

    获取门店信息

    保存到记事本文件中

    主方法

    运行结果:

    4、总结

    本次主要针对之前web scraper不支持的一个简单总结,此篇内容适合爬取汽车主机厂官网经销商和服务商信息

    爬虫工具实战篇(Web Scraper)- 京东商品信息爬取(原创)

    相关文章

      网友评论

          本文标题:爬虫脚本篇-车享家服务门店信息爬取(原创)

          本文链接:https://www.haomeiwen.com/subject/xryfuqtx.html