线性回归

作者: 古城路揸fit人 | 来源:发表于2020-02-18 23:27 被阅读0次

机器学习实战——回归
线性回归模型
通俗得说线性回归算法（二）线性回归实战
第一次打卡
2020-02-14
逻辑回归和线性回归对比
算法概述-02
【机器学习实践】有监督学习：线性分类、回归模型
统计学习基础复习浓缩版
Linear Regression

条件期望与回归

理解条件期望（CEF，conditional expectation function）
$E\left[Y_{i} | X_{i}\right]$ 是 $X_{i}$ 给定的情况下 $Y_{i}$ 的期望，是 $X_{i}$ 的函数。

$X_{i}$ 可以为特定的值， $X_{i}=25$ 。

引出迭代期望定理：
$\mathrm{E}(Y_{i})=\mathrm{E}_{X}[\mathrm{E}(Y_{i} | X_{i})]$
对于给定 $X_{i}=x_{i}$ 的条件下再对Y的条件期望再对X 求期望。直观地理解方式是，如果要对全班求平均身高，你可以先对男生求平均身高，再对女生求平均身高，再求加权平均。

还有一种迭代期望公式
$E\left[Y_{i} | X_{i}\right]=E\left[E\left[Y_{i} | X_{i}, Z_{i}\right] | X_{i}\right]$
我们要求女生的平均身高，可以算每个女生的身高再平均，就是等式左边；或者分别测量北方和南方女生身高，再根据北方女生和南方女生的平均身高求加权平均。

此时，我们可以 $Y_{i}$ 进行分解
$Y_{i}=E\left[Y_{i} | X_{i}\right]+\epsilon_{i}$
这里的 $\boldsymbol{\epsilon}_{\boldsymbol{i}}$ 满足两个条件：（1）零均值；（2）与 $X_{i}$ 独立

线性回归和条件概率

$\beta=\arg \min _{b} E\left[Y_{i}-X_{i}^{\prime} b\right]^{2}$
求解得
$\beta=E\left[X_{i} X_{i}^{\prime}\right]^{-1} E\left[X_{i} Y_{i}\right]$

$\beta=E\left[X_{i} X_{i}^{\prime}\right]^{-1} E\left[X_{i} Y_{i}\right]=E\left[X_{i} X_{i}^{\prime}\right]^{-1} E\left[X_{i} E\left[Y_{i} | X_{i}\right]\right]$

线性回归和因果关系

满足条件均值独立性，非混淆性的时候我们得到的估计值可以认为是平均因果效应

匹配和回归

匹配可以认为是一种组内随机化，在相同的层内，数据类似于完全随机化实验，层内两组的差异就是层内你的平均因果效应。
$\begin{aligned}\tau_{\mathrm{ATT}} &=E\left[Y_{1 i}-Y_{0 i} | D_{i}=1\right] \\ &=E\left\{E\left[Y_{1 i}-Y_{c i} | X_{i}, D_{i}=1\right] | D_{i}=1\right\} \\ &=E\left\{E\left[Y_{1 i} | X_{i}, D_{i}=1\right]-E\left[Y_{0 i} | X_{i}, D_{i}=1\right] | D_{i}=1\right\} \end{aligned}$
根据CIA条件，组内是随机分配的，也就意味着不同组别的是没有基线差异的。
$E\left[Y_{0 i} | X_{i}, D_{i}=1\right]=E\left[Y_{0 i} | X_{i}, D_{i}=0\right]$
那么
$\tau_{\mathrm{ATT}}=E\left\{E\left[Y_{i} | X_{i}, D_{i}=1\right]-E\left[Y_{i} | X_{i}, D_{i}=0\right] | D_{i}=1\right\}$
回归有的组内是没有控制组或者没有处理组的，匹配可以克服这一点。

机器学习实战——回归
本章内容】线性回归局部加权线性回归岭回归和逐步线性回归例子【线性回归】 wHat = (X.T*X).I...
线性回归模型
参考：1.使用Python进行线性回归2.python机器学习：多元线性回归3.线性回归概念线性回归模型是线性模...
通俗得说线性回归算法（二）线性回归实战
前情提要：通俗得说线性回归算法（一）线性回归初步介绍一.sklearn线性回归详解 1.1 线性回归参数介绍完...
第一次打卡
线性回归主要内容包括：线性回归的基本要素线性回归模型从零开始的实现线性回归模型使用pytorch的简洁实现线性回...
2020-02-14
线性回归：线性回归分为一元线性回归和多元线性回归，一元线性回归用一条直线描述数据之间的关系，多元回归是用一条曲线描...
逻辑回归和线性回归对比
简单说几点线性回归和逻辑回归都是广义线性回归模型的特例。他们俩是兄弟关系，都是广义线性回归的亲儿子线性回归只能...
算法概述-02
1.逻辑回归和线性回归的联系和区别：逻辑回归和线性回归的都是广义的线性回归。线性回归是根据最小二乘法来建模，逻...
【机器学习实践】有监督学习：线性分类、回归模型
线性模型为线性模型分类和回归的区别分类：离散回归：连续本文主要关注线性回归模型常用线性回归模型类型 OLS...
统计学习基础复习浓缩版
1.简单线性回归 2.多元线性回归 3.多项式回归 4.广义线性回归(含逻辑斯谛回归）广义线性回归模型通过拟合响...
Linear Regression
在线性回归模型中，我们分为单元线性回归和多元线性回归（Multivariate Linear Regression...