美文网首页工作生活
笔记-线性回归

笔记-线性回归

作者: lanughing | 来源:发表于2019-06-30 22:01 被阅读0次

理解回归

regression to the mean 回归到平均值

回归问题主要关注确定唯一的因变量(需要预测的值)和一个或者多个数值型的自变量(预测变量)之间的关系

最小二乘法

误差:Ε(|yi^-yi|平方)(称作:目标函数,损失函数,cost function,loss)

概率密度函数:

公式推导:

基于中心极限定理,


用线性代数方式表达


Q:为什么求总似然的时候,要用正态分布的概率密度函数?

A:中心极限定理,如果假设样本之间是独立事件,误差变量随机产生,那么就服从正太分布

Q:总似然不是概率相乘吗?为什么用了概率密度函数的f(xi)进行相乘

A:因为概率不好求,所以可以找到概率密度相乘最大的时候,就相当于概率相乘最大的时候


线性回归

线性:y=a*x 一次方的变化

回归:回归到平均值

简单线性回归

算法==公式

一元一次方程组

y=ax + b

x1,y1 x2,y2...xn,yn

多元线性回归

本质上就是多元一次方程组

y=w0*x0+w1*x1 ....+wn*xn=WT*X (W转置点乘样本矩阵X)=X*W(X点乘W)W符号也可以有Θ替换

中心极限定理

总结:

相关文章

网友评论

    本文标题:笔记-线性回归

    本文链接:https://www.haomeiwen.com/subject/emqbcctx.html