美文网首页python爬虫
Python爬取饿了么外卖信息

Python爬取饿了么外卖信息

作者: 9ba4bd5525b9 | 来源:发表于2019-06-19 15:26 被阅读14次

距离上一次写博客已经差不多有半年了,深表惭愧.....  废话不多说,说说今天的任务,今天我们的目的爬取外卖信息,选择的平台是饿了吗。

第一步:饿了吗官网进去,定位中南海

第二步:随笔点进去一个商家

我们需要爬取的是每一种食品的名称、月销售量、评分、评论数

第三步:查看源代码发现根本找不到我们需要的元素,很显然这是一个动态页面,那我们可以通过抓包来查看请求过程,F12+F5,

很显然在这里找到了我们需要的东西,找到了入口之后直接上代码:

4.我们的目的是爬取中南海附近所有的外卖信息,这样一个个爬取肯定是浪费时间的,返回到上一页,我们再随便打开几个店铺,发现几个url只有后面一串数字不同,观察之后发现这就是店铺的id,因此我们只需要获取所有店铺的id就可以获取所有店铺的外卖信息了。爬取id的过程其实和上一个页面差不多,都是通过抓包完成的,这里不多做解释。直接上完整代码

相关文章

网友评论

    本文标题:Python爬取饿了么外卖信息

    本文链接:https://www.haomeiwen.com/subject/tojkqctx.html