线性模型

作者: 阿童89 | 来源:发表于2018-10-15 13:00 被阅读23次

logistics回归分类
Day 3 -- 线性模型（上篇）
2019-02-21
Linear mixed effects models
西瓜书第3章线性模型学习笔记
【机器学习实践】有监督学习：线性分类、回归模型
线性模型-线性回归
数学与统计虐我千百遍……
Python机器学习之线性模型
西瓜书-线性模型

线性回归模型有两种理解角度
1、多元线性回归
1）最小二乘法
2）大似然估计
2、算法常用的方法
3、岭回归，lasso回归，弹性网络
4、python代码

一、多元线性回归
1、最小二乘法
假设线性回归模型具有如下形式：
$f(x)=\sum_{i=0}^{N}\theta _{i}^{T}x_{i}$

所谓最小二乘法是求出一个合适的θ值，使所有观察值的残差平方和达到最小，此时目标函数为
$min\frac{1}{N}\sum_{i=0}^{N}(f(x)-y_{i})^{2}$
$\frac{1}{N}\sum_{i=0}^{N}(\theta _{i}^{T}X-y_{i})^{2}$
$=\frac{1}{N}\sum_{i=0}^{N}(X{i}^{T}\theta _-y_{i})^{2}$
$=\frac{1}{N}||X\theta -y)||^{2}$

问题等价于：
$min\frac{1}{N}||X\theta -y)||^{2}$
$Q=\frac{1}{N}||X\theta -y)||^{2}$
$=\frac{1}{N}(X\theta -y)^{T}(X\theta -y)$
$=\frac{1}{N}(\theta ^{T}X^{T} -y^{T})(X\theta -y)$
$=\frac{1}{N}(\theta ^{T}X^{T}X\theta -2\theta ^{T}X^{T}y+y^{T}y)$

对θ求导,并令一阶导数=0：
$\frac{\partial }{\partial \theta }=\frac{2}{N}(X^{T}X\theta-X^{T}y)=0$
求解θ：
$\theta =\left ( X^{T}X \right )^{-1}X^{T}y$

若X^{T}X不可逆或防止过拟合，增加λ扰动
$\theta =\left ( X^{T}X+\lambda I \right )^{-1}X^{T}y$

2、最大化似然估计
求最大似然函数估计值的一般步骤：
（1）写出似然函数
（2）对似然函数取对数，并整理
（3）求导数
（4）解似然方程

高斯分布的概率密度函数为：
$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x_{i}-\mu )^{2}}{2\sigma ^{2}})$
假设误差是独立同分布的，服从均值为0，方差为某定值的高斯分布（中心极限定理）即：
$\varepsilon _{i}\sim N(0,\sigma ^{2})$

误差的概率密度函数为：
$p(\varepsilon ^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(\varepsilon ^{(i)})^{2}}{2\sigma ^{2}})$

似然函数为（联合密度函数）：
$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}- \theta ^{T}x^{(i)})^{2}}{2\sigma ^{2}})$
$L(\theta ) = \prod_{i=1}^{m}p(y^{(i)}|x^{(i)};\theta)$
$=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}- \theta ^{T}x^{(i)})^{2}}{2\sigma ^{2}})$

两边取对数：
$\iota(\theta )=log\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}- \theta ^{T}x^{(i)})^{2}}{2\sigma ^{2}})$
$=\sum_{i=1}^{m}log\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}- \theta ^{T}x^{(i)})^{2}}{2\sigma ^{2}})$

$=mlog\frac{1}{\sqrt{2\pi }\sigma}-\frac{1}{\sigma ^{2}} \frac{1}{2}\sum_{i=1}^{m}(y^{(i)}-\theta ^{T}x^{(i)})^{2}$

目标函数：
$J(\theta )=\frac{1}{2}\sum_{i=1}^{m}(y^{(i)}- \theta ^{T}x^{(i)})^{2}=\frac{1}{2}(X\theta -y)^{T}(X\theta -y)$
求梯度：
$\Delta _{\theta }J(\theta )=\Delta _{\theta }\left (\frac{1}{2}(X\theta -y)^{T}(X\theta -y) \right )=\Delta _{\theta }\left (\frac{1}{2}(X^{T}\theta^{T} -y^{T})(X\theta -y)\right )$
$=\Delta _{\theta }\left (\frac{1}{2}(X^{T}\theta^{T}X\theta -X^{T}\theta^{T}y -y^{T}X\theta+y^{\theta }y)\right )$
$=\frac{1}{2}\left( 2X^{T}X\theta -X^{T}y -(y^{T}X)^{T} \right )=X^{T}X\theta-X^{T}y$

求驻点，令：
$X^{T}X\theta-X^{T}y=0$

求解θ：
$\theta =\left ( X^{T}X \right )^{-1}X^{T}y$

若X^{T}X不可逆或防止过拟合，增加λ扰动
$\theta =\left ( X^{T}X+\lambda I \right )^{-1}X^{T}y$

2、算法中用梯度下降算法求θ
a)初始化θ
b)沿着负梯度方向迭代，更新后的θ使J(θ)更小
$\theta =\theta - \alpha \cdot \frac{\partial J(\theta )}{\partial \theta }$
c)学习率α可设置

3、岭回归，lasso回归，弹性网络
1）ridge回归
增加L1正则项

2）lasso回归
增加L2正则项

3）弹性网络
同事增加L1+L2正则项

image.png

4、python代码

#alphas是正则项的系数，cv是k折交叉验证
models = [Pipeline([('linear', LinearRegression(fit_intercept=False))]),
        Pipeline([('linear', RidgeCV(alphas=np.logspace(-3, 2, 10), fit_intercept=False,cv=5))]),
        Pipeline([ ('linear', LassoCV(alphas=np.logspace(-3, 2, 10), fit_intercept=False,cv=5))]),
        Pipeline([('linear', ElasticNetCV(alphas=np.logspace(-3, 2, 10), l1_ratio=[.1, .5, .7, .9, .95, .99, 1],fit_intercept=False,cv=5))])]

logistics回归分类
logistics回归分类模型和线性模型的关系非常密切；区分下线性回归模型和线性模型；线性模型：自变量和因变量之间...
Day 3 -- 线性模型（上篇）
第三章线性模型本节文章主要讨论线性模型的回归，属于线性模型上篇，主要介绍线性模型的基本形式，线性模型的回归原理以...
2019-02-21
ML——线性模型基本形式线性模型就是用于预测的模型是线性的，模型形式如下： ...
Linear mixed effects models
提到线性模型可能会联想到三大类：一般线性模型广义线性模型混合线性模型一般线性模型比较简单，模拟线性关系，求...
西瓜书第3章线性模型学习笔记
第3章线性模型 3.1 基本形式线性模型：向量形式表示线性模型： 3.2 线性回归线性回归试图学得：均方误差...
【机器学习实践】有监督学习：线性分类、回归模型
线性模型为线性模型分类和回归的区别分类：离散回归：连续本文主要关注线性回归模型常用线性回归模型类型 OLS...
线性模型-线性回归
线性模型线性模型利用输入特征的线性函数（linear function）进行预测。线性模型预测的一般公式如下：...
数学与统计虐我千百遍……
被数学和统计虐惨的我广义线性模型广义可加模型广义估计方程线性混合模型线性相加模型广义线性混合模型一般...
Python机器学习之线性模型
一、线性模型基本概念线性模型不是指某一个模型，而是一类模型。在机器学习领域，常用的线性模型包括，线性回归、岭回...
西瓜书-线性模型
线性模型西瓜书第二章，线性模型；