美文网首页机器学习与计算机视觉Python文集我爱编程
从爬虫到用scikit-learn构建机器学习多元线性回归模型

从爬虫到用scikit-learn构建机器学习多元线性回归模型

作者: 梅花鹿数据rieuse | 来源:发表于2018-02-16 18:05 被阅读197次

    一:前言

    这是一个线性回归的学习笔记,数据源是我爱我家的北京朝阳区的房屋价格及其相关信息,有室、厅、大小、朝向、楼层层数、装修程度、单价、总价。然后利用scikit-learn 构建一个简单的多元线性回归模型并预测。介绍相关的sklearn函数使用和参数意义。
    目的:练习pandas、sklearn等相关模块函数使用


    二:运行环境

    • Python 3.6
    • jupyter notebook
    • scikit-learn 0.19.1
    • pandas 0.20.3

    三:数据抓取

    我爱我家-朝阳区 https://bj.5i5j.com/ershoufang/chaoyangqu/

    抓取思路:查看当前地区房屋页面数量,然后循环抓取当页数据,本次抓取的数据有rooms halls size direction unit_price price,其实如果把距离地铁的距离加进去也是一个不错的特征,但是考虑到模型简单一点,就暂时没有加,后面如果练习的话可以考虑放进去训练。
    下面是抓取部分的代码,把页面数填进去,数据量不大所以就循环抓取即可。
    具体代码见:https://github.com/rieuse/Machine_Learning/blob/master/House_Regression

    def get_house_data():
        for num in range(1, 299):
            url = f'https://bj.5i5j.com/ershoufang/chaoyangqu/n{num}/'
            print(url)
            s = requests.session()
            html = s.get(url, headers=headers).text
            content = etree.HTML(html).xpath('//*[@class="listCon"]')
            for item in content:
                desc = item.xpath('./div[1]/p[1]/text()')[0].replace(' ','')
                price = item.xpath('./div[1]/div[1]/p[1]/strong/text()')[0]
                unit_price = item.xpath('./div[1]/div[1]/p[2]//text()')[0][2:-4]
                rooms = desc[:1]
                halls = desc[2:3]
                size = re.search(r'(?<=·).+(?=平米·)', desc)[0]
                direction = re.search(r'(?<=平米·).{1,2}(?=·)', desc)
                if not direction:
                    direction = ''
                else:
                    direction = direction[0]
                height = re.search(r'(?<=·).{1}(?=楼层)', desc)[0]
                if '装' in desc:
                    decoration = desc[-2:-1]
                else:
                    decoration = ''
                data = {
                    'rooms': rooms,
                    'halls': halls,
                    'size': size,
                    'direction': direction,
                    'height': height,
                    'decoration': decoration,
                    'unit_price': unit_price,
                    'price': price
                }
                print(data)
    
    

    四:利用sklearn 构建多元线性回归模型

    (1)

    下面的代码建议在jupyter notebook 上运行,这样对数据可视化会很方便。

    import pandas as pd
    from sklearn.linear_model import LinearRegression
    from sklearn.model_selection import train_test_split
    import matplotlib.pyplot as plt
    %matplotlib inline
    
    row_df = pd.read_csv('house_price.csv')
    df = row_df[row_df.iloc[:,1] !='多']
    # 去除数据中房间数目是‘多’ 的部分
    
    data_X = df[['rooms','halls','size','unit_price']]
    data_y = df.price
    # 选取指定的特征
    
    X_train, X_test, y_train, y_test = train_test_split(data_X, data_y, test_size=0.3)
    # 利用 train_test_split 把数据集分割成训练集和测试集
    
    model = LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)
    model.fit(X_train,y_train)
    
    LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
    model.score(X_test,y_test)
    # score: 0.94163368657645685
    
    print(model.coef_)
    print(model.intercept_)
    # model.coef_输出线性方程的参数,model.intercept_输出线性方程的节距
    

    上面选取了'rooms','halls','size','unit_price',这几个特征进去训练,最后的预测效果评分达到94.16% 如果去掉单价这个特征来训练,预测效果评分就会下降很多。

    data_X = df[['rooms','halls','size']]
    data_y = df.price
    X_train, X_test, y_train, y_test = train_test_split(data_X, data_y, test_size=0.3)
    model = LinearRegression(fit_intercept=True, normalize=True, copy_X=True, n_jobs=1)
    model.fit(X_train,y_train)    # 训练模型
    model.score(X_test,y_test)    # 获取模型效果评分
    model.predict(np.array([3,1,90]).reshape(1, -1)) 
    # out:array([ 648.07270425])
    

    根据训练好的模型,我们就可以看看北京朝阳区的三室一厅,90平米这样的房子大致是多少钱了,输出结果是648.07万元。

    (2) LinearRegression() 参数
    参数 类型 默认值 说明
    fit_intercept 布尔型 true 是否对训练数据进行中心化。如果该变量为false,则表明输入的数据已经进行了中心化,在下面的过程里不进行中心化处理;否则,对输入的训练数据进行中心化处理
    normalize 布尔型 false 是否对数据进行标准化处理
    copy_X 布尔型 true 是否对X复制,如果选择false,则直接对原数据进行覆盖。(即经过中心化,标准化后,是否把新数据覆盖到原数据上)
    n_jobs 整型 1 计算时设置的任务个数(number of jobs)。如果选择-1则代表使用所有的CPU。对于 n_targets>1 且足够大规模的问题有加速作用。
    (3) LinearRegression() 返回值:
    名称 返回值 说明
    coef_ 数组型变量, 形状为(n_features,)或(n_targets, n_features) 说明:对于线性回归问题计算得到的feature的系数。如果输入的是多目标问题,则返回一个二维数组(n_targets, n_features);如果是单目标问题,返回一个一维数组 (n_features,)。
    intercept_ 数组型变量 线性模型中的独立项。例如这里的b: y = ax + b

    五:总结

    该项目代码以及数据源全部存放于 github.com/rieuse/Machine_Learning
    会了爬虫就可以自己抓取喜欢的数据拿来分析数据和跑机器学习,非常方便。这次利用自己抓取的数据,练习了sklearn的线性回归模型。也同时看到了北京房价的恐怖,买房还需努力呀。抓取的数据特征有很多,利用更多的特征训练的模型效果就越好,预测就会更准。以后我在尝试一下利用这些特征最大化预测效果,或者使用其他的模型或者来训练本次的数据。

    相关文章

      网友评论

        本文标题:从爬虫到用scikit-learn构建机器学习多元线性回归模型

        本文链接:https://www.haomeiwen.com/subject/cssptftx.html