神经网络与深度学习第三章阅读

作者: 我的昵称违规了 | 来源:发表于2019-06-09 08:38 被阅读2次

深度学习手册
深度学习之神经元
《神经网络与深度学习.pdf》PDF高清完整版-免费下载
《Deep Learning with Python》第三章 3
神经网络与深度学习有感
深度学习笔记之循环神经网络RNN学习笔记
机器学习入门
TensorFlow技术解析与实战(读书笔记).md
TensorFlow 深度学习中文第二版（初稿）
深度学习

第三章线性模型

线性模型的公式
$f(W;X)=W^T * X$

W是d维权重集合， $W=[w_1,...,w_d]$
X是d维样本集合， $X=[x_1,...,x_d]$

得到的预测结果y， $y=f(W;X)$ ，但是这个结果是一些离散标签，需要引入一个非线性的决策函数g()来预测输出目标
$y=g(f(W;X))$
这里主要介绍的四中不同的线性分类模型：logistic回归，softmax回归，感知器（MLP），支持向量机（SVM）

3.1 线性判别函数和决策边界

3.1.1 二分类

3.1.2 多类分类

分类的类别数C大于2，需要多个线性判别函数。如果类别为 ${1,2,3,...,C}$ ，常用分类方式：

一对其余：多类分类转为C个一对其余的二分类
一对一：多类分类转为C(C-1)/2个一对一的二分类
argmax：改进的一对其余方式，需要C个判别函数，能够解决“特征空间中存在难以确定类别的区域”的问题

3.2 Logistic回归

使用激活函数解决连续的线性函数不适合分类的问题，将线性函数值域压缩到(0,1)之间，表示概率。
在Logistic回归中，使用Logistic函数作为激活函数。
标签y=1的后验概率：
$p(y=1|X)=\sigma(W^TX)=\frac{1}{1+exp(-W^TX)}$
标签y=0的后验概率：
$p(y=0|X)=1-p(y=1|X)=\frac{exp(-W^TX)}{1+exp(-W^TX)}$
现在对上面的公式进行变换
$W^TX=log{\frac{p(y=1|x)}{1-p(y=1|x)}}=log{\frac{p(y=1|x)}{p(y=0|x)}}$

3.2.1 参数学习

Logistic回归采用交叉熵作为损失函数，梯度下降作为参数优化。

3.3 softmax回归

也叫多项、多类Logistic回归，是多类分类问题的推广。
$p(y=c|X)=softmax(W_c^TX)=\frac{exp(W_c^TX)}{\Sigma^C_{c'=1}exp(W_c^TX)}$
向量表示
$\hat y=softmax(W^TX)=\frac{W^TX}{1^Texp(W^TX)}$
决策函数是argmax
$\hat y=argmax^C_{c=1}p(y=c|X)=argmax^C_{c=1}W_c^TX$