美文网首页
线性回归算法(未完待续)

线性回归算法(未完待续)

作者: 老姚记事本 | 来源:发表于2020-03-22 19:18 被阅读0次

简单线性回归

1. 使用场景

两个随机变量有相关性,根据一个随机变量的值,预测另一个值。

2. 怎么样做?

线性回归思路,找到线性方程y = ax + b,使样本点(x, y)到方程对应直线的误差最小。对需要预测的点,通过方程得出。

3. 怎么定义误差最小?

直观会应该取点到直线距离相加,为了计算简单取y到直线距离,消除正负应用绝对值或者平方,这里使用平方,于是得到误差的计算方式,称作损失函数:



通过最小二乘法可以求出a、b的表达式:


4. 最小二乘法

对于测量值来说,让总的误差的平方最小的就是真实值。这是基于,如果误差是随机的,应该围绕真值上下波动。

二乘就是平方,线性回归中运用最小二乘法推导得到a,b的过程见参考资料

5. 代码实现细节

数学公式推导清楚了,实际写代码时没有太多难度的。中间需要注意使用向量计算速度可大幅提升。

向量化是非常常用的加速计算的方式,特别适合深度学习等需要训练大数据的领域。

#for x_i,y_i in zip(x,y): 
#    num = num + (x_i - x_mean) * (y_i - y_mean)
#    d = d + (x_i - x_mean) ** 2
num = (x_train - x_mean).dot(y_train - y_mean)  # 分子    
d = (x_train - x_mean).dot(x_train - x_mean)    # 分母
self.a_ = num / d
self.b_ = y_mean - self.a_ * x_mean

多元线性回归

1. 使用场景

简单线性回归,仅适用两个特征值,在真实世界中,一个样本通常有很多(甚至成千上万)特征值的,这就是多元线性回归。

2. 怎么做

原理与简单线性回归相同。



对应的损失函数:


todo 暂时由于向量运算不懂,剩余部分后续补充

参考资料

模型之母:简单线性回归&最小二乘法
模型之母:简单线性回归的代码实现
模型之母:多元线性回归

相关文章

  • 机器学习算法总结

    回归算法 线性回归算法: 支持向量机&向前逐步回归&惩罚线性回归(岭回归/套索回归/ElasticNet/最小角度...

  • 线性回归算法(未完待续)

    简单线性回归 1. 使用场景 两个随机变量有相关性,根据一个随机变量的值,预测另一个值。 2. 怎么样做? 线性回...

  • 机器学习系列(十一)——线性回归Linear Regressio

    线性回归算法 和knn算法不同,线性回归算法主要用于解决回归问题,它同样思想简单,实现容易,而且是许多强大的非线性...

  • 线性回归

    线性回归是机器学习算法的入门,通过该算法,管中窥豹,研究该算法的精髓之处。 线性回归 线性回归的损失函数为最小二乘...

  • 回归算法学习

    回归算法是机器学习中的经典算法之一,本文是对学习线性回归和逻辑回归算法进行的总结,线性回归与逻辑回归算法解决的分别...

  • 2019-10-29

    Day2 简单线性回归模型 机器学习入门--简单线性回归机器学习算法之线性回归算法 导入库matplotlib 绘...

  • 通俗地说逻辑回归【Logistic regression】算法(

    在说逻辑回归前,还是得提一提他的兄弟,线性回归。在某些地方,逻辑回归算法和线性回归算法是类似的。但它和线性回归最大...

  • 通俗得说线性回归算法(二)线性回归实战

    前情提要:通俗得说线性回归算法(一)线性回归初步介绍 一.sklearn线性回归详解 1.1 线性回归参数 介绍完...

  • 吴恩达机器学习(第一周)

    1.单变量线性回归(Linear Regression with One Variable) 1.1线性回归算法 ...

  • 常见回归算法

    sklearn作为机器学习中一个强大的算法包,内置了许多经典的回归算法。 线性回归 线性回归拟合一个带系数的线性模...

网友评论

      本文标题:线性回归算法(未完待续)

      本文链接:https://www.haomeiwen.com/subject/xmuvyhtx.html