今年不知道有多少小伙伴留在原地过年，虽然今年过年不能回老家，但这个年也得过，也得买年货，给家人长辈送礼。于是我出于好奇心的想法利用爬虫获取某宝数据，并结合 Python 数据分析和第三方可视化平台来分析一下大家过年都买了哪些东西，分析结果大屏如下：
上面使用清洗好的数据后用 finebi 第三方可视化工具完成的。接下来是用 Python 的实现过程，对于本文的叙述，主要分为以下五步：
分析思路
爬虫部分
数据清洗
数据可视化及分析
结论与建议
一、分析思路
其实就今天的数据来讲，我们主要做的是探索性分析；首先梳理已有的字段，有标题（提取出品类）、价格、销量、店铺名、发货地。下面来做一下详细的维度拆分以及可视化图形选择：
品类:
品类销量的 TOP 10 有哪些？（表格或者横向条形图）
热门（出现次数最多）品类展示；（词云）
价格：年货的价格区间分布情况；（圆环图，观察占比）
销量、店铺名：
店铺销量最高的 TOP 10 有哪些？（条形图）
结合品类做联动，比如点坚果，对应展示销量排名的店铺；（联动，利用三方工具）
发货地：销量最高的城市有哪些？（地图）
二、爬取数据
爬取主要利用 selenium 模拟点击浏览器，前提是已经安装 selenium 和浏览器驱动，这里我是用的 Google 浏览器，找到对应的版本号后并下载对应的版本驱动，一定要对应浏览器的版本号。
pipinstall selenium
安装成功后，运行如下代码，输入关键字"年货"，进行扫码就可以了，等着程序慢慢采集。
采集结果如下：
数据准备完成，中间从标题里提取类别过程比较耗时，建议大家直接用整理好的数据。
大概思路是对标题进行分词，命名实体识别，标记出名词，找出类别名称，比如坚果、茶叶等。
三、数据清洗
这里的文件清洗几乎用 Excel 搞定，数据集小，用 Excel 效率很高，比如这里做了一个价格区间。到现在数据清洗已经完成（可以用三方工具做可视化了），如果大家爱折腾，可以接着往下看用 Python 如何进行分析。
四、数据可视化及分析
1、读取文件
2、可视化：词云图
图表说明：我们可以看到词云图，热门（出现次数最多）品类字体最大，依次是：坚果、茶叶、糕点等。
3、可视化：绘制圆环图
图表说明：圆环图和饼图类似，代表部分相对于整体的占比情况，可以看到0 ~ 200元的年货大概33%左右，100 ~ 200元也是33%。说明大部分的年货的价格趋于200以内。
4、可视化：绘制条形图
图表说明：以上是店铺按销量排名情况，可以看到第一名是三只松鼠旗舰店，看来过年大家都喜欢吃干货。
5、可视化：绘制横向条形图
图表说明：根据类别销量排名，排名第一是坚果，验证了上面的假设，大家喜欢吃坚果。
结论与建议
淘宝热卖年货:坚果，茶叶，糕点，饼干，糖果，白酒，核桃，羊肉，海参，枸杞；
年货推荐清单（按销量）：坚果、零食、糕点、饼干、茶叶、糖果、松子、红枣、蛋糕、卤味、瓜子、牛奶、核桃；
年货价格参考：66%以上的年货价格在0~200元之间；
热门店铺：三只老鼠、天猫超市、百草味、良品铺子；
网友评论