1.数据爬取

链接：https://pan.baidu.com/s/1zaTqNY2eCzGyYzesDw0LPw
提取码：5h8d
链接是我自行在链家爬取的一些样本数据，数据量不大，1页50个，总共30页房屋信息。下面我就基于这1500个二手房信息做一个数据分析。

2.数据读取

house_data = pd.read_csv('链家上海二手房.csv')
house_data = house_data.reset_index()
lien = house_data['index']
house_data.drop(labels=['index'], axis=1, inplace=True)
house_data.insert(23, '房屋链接', lien)

1.png

上图中可以看到我所爬取的大概信息，总共有23个维度

3.数据去重和筛选

house_data.drop_duplicates(subset='房屋链接', inplace=True)
# 先选取最重要的三个维度来进行数据分析
hdata = house_data.filter(items=['房子总价', '建筑面积', '房子单价'])

由于单价和总价这两个字段的数据都自带单位，所以下一步我们要继续去除这些单位，只留下数值，才能更方便地进行数据分析：

# 自定义函数，目的是把单位去掉
def func(x):
    mulnum = 1
    if '亿' in x:
        mulnum = 10000
        
    v = re.search('\d+\.?\d+', x).group()
    fv = float(v) * mulnum
    return fv

2.png

最终数据的清洗结果如上图所示。

4.数据可视化

4.1房屋总价箱状图

先简单地通过箱状图，来观察下数据的整体分布：

sns.boxplot(x=['房屋总价'], y=[hdata.房子总价])

房屋总价boxplot.png

可以看到上海2019年二手房，由于相当一部分的异常值，导致整体分布不均匀，无法观察到总体。

4.2去除异常值

既然有一定量的异常值，那么最好去除，这样做出来的分析才能更精确，更有说服力：

hdata = hdata[(hdata.房子总价 < 1500) & (hdata.房子总价 > 100) & (hdata.建筑面积 > 15)]
len(hdata[(hdata.房子总价 < 1500) & (hdata.房子总价 > 100)]), len(hdata)

房屋总价去除异常值后boxplot.png

经过处理后可以看到，一半的二手房价格浮动在200w出头到接近600w的价格区间内，属于普通消费者水平。

4.3.三个维度的子图对比，箱状图

index = 1
plt.figure(figsize=(12, 4))
color = {1: 'OrRd_r', 2: 'RdYlBu', 3: 'copper'}
for order, key in enumerate(hdata.columns.values, start=1):
    plt.subplot(1, 3, index)
    index += 1
    sns.boxplot(x=[key], y=[hdata[key]], palette=color[order])

三个维度子图对比boxplot.png

可以直观地看到上海二手房的房子单价75%都超过了4w，平均都超过5w；建筑面积75%少于100平方米。

4.4三个维度的子图对比，直方图

index = 1
plt.figure(figsize=(20, 6))
colors = {1: 'reddish', 2: 'dark sky blue', 3: 'sandy yellow'}
for order, key in enumerate(hdata.columns.values, start=1):
    plt.subplot(1, 3, index)
    index += 1
    sns.distplot(hdata[key], color=sns.xkcd_rgb[colors[order]], label=key)
    plt.legend()

三个维度子图对比distplot.png

描述的内容和上面的箱状图一致，但是对于分布情况，会更细致。如果想买二手房，房屋单价肯定是关键因素之一，然而直方图只能看到密度，不能看到区间分布，所以下面我们再针对“房屋单价”这个维度进行细分，划分出区间来进一步观察在上海，二手房单价的价格区间分布到底是如何的。

4.5 房屋单价 价格区间划分

interval = list(range(2, 15))
interval.insert(0, 0)
interval.append(20)
interval = np.array(interval) * 10000
result = pd.cut(hdata.房子单价, bins=interval)
uprice = result.value_counts()
uprice = uprice.sort_index()

划分之后如下图：

3.png

4.6 房屋单价可视化

index = list(range(14))
xindex = ['%dw+'%val for val in range(1, 15)]

上海2019链家二手房-房子单价样本barplot.png

plt.figure(figsize=(8,8))
plt.axes(aspect=1)
x, y, z = plt.pie(uprice.values, labels=xindex, autopct='%2.1f%%', radius=1.2)
r = plt.setp(z, weight='bold', size=11)
plt.legend(loc='best')

房屋单价区间分布pie.png

通过两种图的展示，我们可以看到4w-5w的房屋总量是最多的，总体3-6w的房屋单价是目前二手房的主流价格区间，通过饼图可以看到有超过一半的价格落在这三个区间中。

未完待续......