Logistic Regression (ntu.edu.tw)
http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/Logistic%20Regression%20(v3).pdf
线性回归：输出任何值
逻辑回归：输出值0-1之间
我们熟悉的是，找使得loss最小的w和b
所以我们转换一下L函数
1、Ln:连乘--连加
2、取负号
用SE（线性回归求loss）方式，是不可取的。
因为：离最低点，最近和最远的位置，都梯度下降都更新的很慢
训练集、模型函数一样，逻辑回归和线性回归求的w和b不一样。
一般情况下，做分类，判别式的效果更好。
例子：
1×1：朴素贝叶斯、独立
采用生成式，却判断为第二类。
原因：训练集样本太少
所以要有足够多的训练样本
生成式（线性回归）模型优点：
1、数据集样本少的时候
2、样本中有很多噪音干扰的时候
3、Priors and class-dependent来自不同的分布
（语音识别：用的是生成式）
多分类：
softmax：在0-1之间，会把输入扩大化
不能把分类输出用1、2、3、4、5、...表示。用one-hot编码方式。
逻辑回归的缺陷：
没有办法用一条线，把红点和蓝点，两个类别隔开。
解决方法：1、特征转换Feature Transformation
2、级联的逻辑回归---深度学习
Neuron神经元
网友评论