爬取贝壳二手房4万条房屋信息，爬虫告诉你，新一线城市二手房均价排

作者: 寻找不同的蜜蜂 | 来源:发表于2018-09-16 23:21 被阅读51次

文|寻找不同的蜜蜂

购置新房，对于刚参加工作没几年的孩童来说，可谓压力山大。特别是，在北上广深，这种超级城市，买房简直天方夜谭。

前一阵，刮起了一阵逃离北上广的热潮，逃离的理由不必赘述，你我都懂。或许，在新一线城市发展，也是一个不错选择。毕竟留在这些城市发展，机会还是多很多。

但说实话，在新一线购置一套新房，似乎也不那么容易。有些人认为，新房买不起，购置二手房，也是不错选择。也有人认为，二手房比新房价格还贵。

那么，到底二手房的价格如何？

通过爬虫，爬取贝壳二手房网，选取新一线的14个城市为研究对象，分别是杭州、青岛、天津、南京、成都、重庆、长沙、武汉、郑州、沈阳、东莞、西安、苏州和无锡。

共记4万+二手房信息，其中，每一个城市约3000条二手房信息（贝壳网上限100页）。

1/ 信息的收集

爬虫，作为有效的信息收集途径之一，其灵活和实时性等特点，已被大家高度认可。互联网时代，掌握爬虫技能，是必不可少的技能之一。

python中，目前，有很多爬虫模块，比如：scrapy（更为高级结构化的框架），re，request， beautifulsoup等。

本文继续使用request+beautifulsoup模块，爬取数据，包括小区名字、区域、户型、面积、总价格以及每平米价格。

1）Request负责爬取html源代码至本地，需注意一点：解析前，查看html是否完全被下载下来。如果发现只爬下部分内容，可能存在反扒机制。

2）Beautifulsoup负责解析以上html，基于CSS选择器，提取关心的信息，必要时，需对数据进行处理（如：去空格、去换行和去除不必要的字符串等等）。

3）有时网络不是特别好，爬取过程中会出现中断，如果不设置监控点，都不知道爬到哪里。建议使用format（）设置页面监控点。

爬取贝壳二手房4万条房屋信息，爬虫告诉你，新一线城市二手房均价排名

2/ 信息过滤

爬下的信息中，多少有一些，无效信息。筛选有用的信息，变得极为关键。

通过对新一线城市，4万条的住房信息处理发现，各个城市各区的房屋信息条数分布，极不均匀，一些地区的二手房信息有几百条，甚至千条，但有些，却只有几条。

因此，以大于50条为过滤条件，统计并计算各城市各区的均值。

3/ 结果可视化

使用pyechart和excel对数据进行可视化，其中，地图可视化的代码如下：

对于数据data，可以手动输入，也可以导入CSV。然后，调整显示范围 [10000, 40000 ]，很方便。其他参数，可以保持默认即可。

别忘记下载地图数据，命令行输入 pip install echarts-china-provinces-pypkg和 pip install echarts-china-cities-pypkg。

对于excel的使用，主要是在上千的数据当中，筛选出各城市各区对应的数据，并求均值，AVERAGEIF（）函数，不要错过。

4/ 结果分析

通过对以上4万条房屋信息处理和分析，14个城市的二手房均价排名如下：

1）杭州， 39495元/平方米

2）南京， 33346元/平方米

3）青岛， 28368元/平方米

4）天津， 27722元/平方米

5）苏州， 23739元/平方米

6）东莞， 20801元/平方米

7）武汉， 20605元/平方米

8）成都， 17266元/平方米

9）西安， 16636元/平方米

10）郑州， 16057元/平方米

11）无锡， 15245元/平方米

12）重庆， 14769元/平方米

13）长沙， 11736元/平方米

14）沈阳， 11378元/平方米