美文网首页爬虫python社区Python学习资料整理
为了给女友挑合适的内衣,我用 Python 爬了天猫内衣店的数据

为了给女友挑合适的内衣,我用 Python 爬了天猫内衣店的数据

作者: 9ba4bd5525b9 | 来源:发表于2019-07-24 14:41 被阅读371次

    我们尝试用 Python 抓取天猫内衣销售数据,并分析得到中国女性普遍的罩杯数据、最受欢迎的内衣颜色是什么、评论的关键字。希望看完之后你能替你女朋友买上一件心怡的内衣。我们先看看分析得到的成果是怎样的?(讲的很详细,推荐跟着敲一遍)

    这里是分析了一万条数据得出的结论,可能会有误差,但是还是希望单身的你们能找到 0.06% 那一批妹纸。下面我会详细介绍怎么抓取天猫内衣销售数据,存储、分析、展示。

    抓取天猫评论数据

    写一个抓取天猫评论数据的方法。getCommentDetail

    这里需要注意的是 jsonp128 这个值需要你自己看一下,你那边跟我这个应该是不同的。

    在上面的方法里有两个变量,itemId 和 currentPage 这两个值我们动态来控制,所以我们需要获得 一批 商品id号 和 评论的最大页数 用来遍历。

    写个获取商品评论最大页数的方法 getLastPage

    那现在怎么获取 产品的id 列表呢?我们可以在天猫中搜索商品关键字 用开发者模式观察

    这里观察一下这个页面的元素分布,很容易就发现了 商品的id 信息,当然你可以想办法确认一下。

    现在就写个 获取商品id 的方法 getProductIdList

    现在所有的基本要求都有了,是时候把他们组合起来。

    在 main 方法中写剩下的组装部分

    所有的代码就这样完成了,我现在把 common.py 的代码,还有 tmallbra.py 的代码都贴出来

    相关文章

      网友评论

        本文标题:为了给女友挑合适的内衣,我用 Python 爬了天猫内衣店的数据

        本文链接:https://www.haomeiwen.com/subject/mltzlctx.html