美文网首页
ML - 简单线性回归 (Simple Linear Regre

ML - 简单线性回归 (Simple Linear Regre

作者: leo567 | 来源:发表于2018-12-05 10:51 被阅读13次
    1. 统计量:描述数据特征
    • 集中趋势衡量
    1. 均值(平均数,平均值)(mean)


    {6, 2, 9, 1, 2}
    (6 + 2 + 9 + 1 + 2) / 5 = 20 / 5 = 4

    1. 中位数 (median)
      将数据中的各个数值按照大小顺序排列,居于中间位置的变量
    • 给数据排序:1, 2, 2, 6, 9
      找出位置处于中间的变量:2
      当n为基数的时候:直接取位置处于中间的变量
      当n为偶数的时候,取中间两个量的平均值
    1. 众数 (mode)
      数据中出现次数最多的数

    2. 离散程度衡量

    • 方差(variance)


    {6, 2, 9, 1, 2}
    ① (6 - 4)^2 + (2 - 4) ^2 + (9 - 4)^2 + (1 - 4)^2 + (2 - 4)^2
    = 4 + 4 + 25 + 9 + 4
    = 46
    ② n - 1 = 5 - 1 = 4
    ③ 46 / 4 = 11.5

    • 标准差 (standard deviation)



      s = sqrt(11.5) = 3.39

    2. 介绍
    • 回归(regression) Y变量为连续数值型(continuous numerical variable)
      如:房价,人数,降雨量

    • 分类(Classification): Y变量为类别型(categorical variable)
      如:颜色类别,电脑品牌,有无信誉

    简单线性回归(Simple Linear Regression)
    • 很多做决定过程通常是根据两个或者多个变量之间的关系

    • 回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间如何关联

    • 被预测的变量叫做:因变量(dependent variable), y, 输出(output)

    • 被用来进行预测的变量叫做: 自变量(independent variable), x, 输入(input)

    简单线性回归介绍
    • 简单线性回归包含一个自变量(x)和一个因变量(y)
    • 以上两个变量的关系用一条直线来模拟
    • 如果包含两个以上的自变量,则称作多元回归分析(multiple regression)
    简单线性回归模型
    • 被用来描述因变量(y)和自变量(X)以及偏差(error)之间关系的方程叫做回归模型

    • 简单线性回归的模型是:


    简单线性回归方程

    E(y) = β01x

    这个方程对应的图像是一条直线,称作回归线

    其中,β0是回归线的截距

    β1是回归线的斜率

    E(y)是在一个给定x值下y的期望值(均值)

    正向线性关系:
    负向线性关系:
    无关系
    估计的简单线性回归方程

    ŷ=b0+b1x

    这个方程叫做估计线性方程(estimated regression line)
    其中,b0是估计线性方程的纵截距
    b1是估计线性方程的斜率
    ŷ是在自变量x等于一个给定值的时候,y的估计值

    线性回归分析流程:
    关于偏差ε的假定

    是一个随机的变量,均值为0
    ε的方差(variance)对于所有的自变量x是一样的
    ε的值是独立的
    ε满足正态分布

    简单线性回归模型举例:

    汽车卖家做电视广告数量与卖出的汽车数量:

    • 如何练处适合简单线性回归模型的最佳回归线?


    使sum of squares最小
    • 计算


    分子 = (1-2)(14-20)+(3-2)(24-20)+(2-2)(18-20)+(1-2)(17-20)+(3-2)(27-20)

    = 6 + 4 + 0 + 3 + 7

    = 20

    分母 = (1-2)^2 + (3-2)^2 + (2-2)^2 + (1-2)^2 + (3-2)^2

    = 1 + 1 + 0 + 1 + 1

    =4

    b1 = 20/4 =5

    b0 = 20 - 5*2 = 20 - 10 = 10

    • 预测:
      假设有一周广告数量为6,预测的汽车销售量是多少?


    x_given = 6

    Y_hat = 5*6 + 10 = 40

    • Python实现:
    import numpy as np
    
    def fitSLR(x, y):
        n = len(x)
        dinominator = 0
        numerator = 0
        for i in range(0, n):
            numerator += (x[i] - np.mean(x)) * (y[i] - np.mean(y))
            dinominator += (x[i] - np.mean(x)) ** 2
        b1 = numerator / float(dinominator)
        b0 = np.mean(y) / float(np.mean(x))
        return b0, b1
    
    
    def predict(x, b0, b1):
        return b0 + x * b1
    
    
    x = [1, 3, 2, 1, 3]
    y = [14, 24, 18, 17, 27]
    
    b0, b1 = fitSLR(x, y)
    
    print("intercept:")
    print(b0)
    print("slope:")
    print(b1)
    
    x_test = 6
    
    y_test = predict(6, b0, b1)
    
    print("y_test:")
    print(y_test)
    
    
    结果

    相关文章

      网友评论

          本文标题:ML - 简单线性回归 (Simple Linear Regre

          本文链接:https://www.haomeiwen.com/subject/vwmmcqtx.html