Chapter1—线性模型

作者: crishawy | 来源:发表于2019-08-19 23:05 被阅读0次

Chapter1—线性模型
logistics回归分类
Day 3 -- 线性模型（上篇）
2019-02-21
Linear mixed effects models
西瓜书第3章线性模型学习笔记
【机器学习实践】有监督学习：线性分类、回归模型
线性模型-线性回归
数学与统计虐我千百遍……
Python机器学习之线性模型

1. 基本形式

给定 $d$ 个属性描述的示例 $x=(x_{1},x_{2},\cdots,x_{d})$ ，线性模型试图学习一个通过线性组合来进行预测的函数，即
$f(x)=w_{1}x_{1}+w_{2}x_{2}+\cdots+w_{d}x_{d}+b$ 一般的向量形式写为
$f(x)=w^{T}x+b$ 其中 $w=(w_{1},w_{2}, \cdots, w_{d})$ , $w$ 和 $b$ 学得之后，模型就可以确定。

2. 线性回归

2.1 一元线性回归

给定数据集 $D=\{(x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{m},y_{m}) \}$ 其中 $x_{i}=(x_{i1};x_{i2};\cdots;x_{id};),y_{i}\in \mathbb{R}$ ，线性回归试图学得一个线性模型尽可能准确地预测实值输出。

在回归任务中，我们试图最小化均方误差来学习回归模型中的参数 $w$ 和 $b$ ，即
$\begin{split} E_{(w,b)}=(w^{*},b^{*}) &=\mathop{\arg\min_{(w,b)}}\sum_{i=1}^{m}(f(x_{i})-y_{i})^{2} \\ &= \mathop{\arg\min_{(w,b)}}\sum_{i=1}^{m}(y_{i}-wx_{i}-b)^{2} \end{split}$ 均方误差的求解方法称为最小二乘法，最小二乘法试图找到一条直线，使得所有样本到直线上的欧氏距离最小。

如何求解 $w$ 和 $b$ 呢？即进行最小二乘参数估计，我们将均方误差函数分别对 $w$ 和 $b$ 求导，得到:
$\begin{split} &\frac{\partial E_{(w,b)}}{\partial w} =2(w\sum_{i=1}^{m}x_{i}^{2}-\sum_{i=1}^{m}(y_{i}-b)x_{i}) \\ &\frac{\partial E_{(w,b)}}{\partial b} =2(mb-\sum_{i=1}^{m}(y_{i}-wx_{i})) \end{split}$ 然后分别令上式为0得到 $w$ 和 $b$ 的最优解的闭式解：

2.2 多元线性回归

推广到更一般的情形，若有 $d$ 个属性描述，我们试图学到

类似地，可采取最小二乘法进行估计，不同的是这里需要对矩阵求偏导

分别对估计的参数 $w$ 和 $b$ 求偏导得到

在令导数等于0，求解 $w$ 时，我们需要讨论 $X$ 的秩的情况

3. 对数几率回归（Logistic回归）

上一节讨论了回归任务中的线性回归模型，若想做分类任务，该怎么办？只需要找到一个单调可微函数将分类的真实标记与线性模型的输出 $y$ 对应起来即可。

而上述阶跃函数是离散的，不可微的，难以进行参数估计，因此我们需要寻找一个单调可微的函数来近似阶跃函数，那就是 $Sigmoid$ 函数

进而，分类模型可以表示为

或
我们定义样本正例的可能性与反例可能性的比值为几率（logit）： $\frac{y}{1-y}$ ，对几率取对数后可以得到对数几率： $\ln\frac{y}{1-y}$

模型参数的估计：极大似然法

通过极大似然法来估计 $w$ 和 $b$ ，给定数据集 $D=\{(x_{1},y_{1}),(x_{2},y_{2}),\cdots,(x_{m},y_{m}) \}$ ，我们希望最大化每个样本属于其真实标签的概率：
$\mathop{\arg\max}_{w,b}\space L(w,b)=\prod_{i=1}^{m}p(y_{i}|x_{i};w,b)$ 两边取对数，从而有
$\begin{split} \mathop{\arg\max}_{w,b}\space \ln L(w,b)&=\sum_{i=1}^{m}\ln[p(y=1|x_{i};w,b)^{y=1}\cdot (1-p(y=1|x_{i};w,b))^{1-y_{i}}] \\ &= \sum_{i=1}^{m} y_{i}\ln [p(y=1|x_{i};w,b) +(1-y_{i}) \ln (1-p(y=1 | x_{i};w,b)) \end{split}$ 将 $p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$ 带入上式可得
$L(\beta)=\sum_{i=1}^{m}[y_{i}\beta^{T}x_{i}-\ln (1+e^{\beta^{T}x_{i}})]$ 其中， $\beta=(w;b),x=(x,1)$ 我们将其转换为最小化对数似然：
$\beta^{*}=\mathop{\arg\min}_{\beta}l(\beta)=\sum_{i=1}^{m}[-y_{i}\beta^{T}x_{i}+\ln (1+e^{\beta^{T}x_{i}})]$

于是，最优化函数为关于 $\beta$ 的高阶可导连续凸函数，根据凸优化理论，经典的数值优化方法如梯度下降法、牛顿法可以求的最优解，如

3. 线性判别分析LDA

线性判别分析是一种经典的线性学习方法，适合于二分类以及多分类问题。

LDA二分类示意图：

LDA最优化目标：

LDA的优化目标：最小化广义瑞利商

优化的求解：拉格朗日乘子法+奇异值分解法(有待学习)

(图片来源于《机器学习》-周志华)

Chapter1—线性模型
1. 基本形式给定个属性描述的示例，线性模型试图学习一个通过线性组合来进行预测的函数，即一般的向量形式写为其中,...
logistics回归分类
logistics回归分类模型和线性模型的关系非常密切；区分下线性回归模型和线性模型；线性模型：自变量和因变量之间...
Day 3 -- 线性模型（上篇）
第三章线性模型本节文章主要讨论线性模型的回归，属于线性模型上篇，主要介绍线性模型的基本形式，线性模型的回归原理以...
2019-02-21
ML——线性模型基本形式线性模型就是用于预测的模型是线性的，模型形式如下： ...
Linear mixed effects models
提到线性模型可能会联想到三大类：一般线性模型广义线性模型混合线性模型一般线性模型比较简单，模拟线性关系，求...
西瓜书第3章线性模型学习笔记
第3章线性模型 3.1 基本形式线性模型：向量形式表示线性模型： 3.2 线性回归线性回归试图学得：均方误差...
【机器学习实践】有监督学习：线性分类、回归模型
线性模型为线性模型分类和回归的区别分类：离散回归：连续本文主要关注线性回归模型常用线性回归模型类型 OLS...
线性模型-线性回归
线性模型线性模型利用输入特征的线性函数（linear function）进行预测。线性模型预测的一般公式如下：...
数学与统计虐我千百遍……
被数学和统计虐惨的我广义线性模型广义可加模型广义估计方程线性混合模型线性相加模型广义线性混合模型一般...
Python机器学习之线性模型
一、线性模型基本概念线性模型不是指某一个模型，而是一类模型。在机器学习领域，常用的线性模型包括，线性回归、岭回...