Logistic & Softmax

Logistic 回归

在Logistic回归中比较重要的有两个公式，一个是阶跃函数：

gif.gif

另一个是对应的损失函数:

gif.gif

对于确定回归系数这样的问题

gif.gif

不存在多峰，也就是说不存在除最优值之外的局部最优值。其次，这样的问题是可求导的，所以基于梯度的方法是可以用来求解回归系数的问题.的。

Sigmoid函数的公式为：

gif.gif 20140512105006234.jpg

最终，Logistic回归需要求出的是两个概率:

图片.png

Logistic回归的推广——Softmax Regression

在Logistic回归需要求解的是两个概率：

图片.png

而在Softmax Regression中将不是两个概率，而是表示的是分类的个数。我们需要求出以下的概率值：

图片.png

此时的损失函数为:

图片.png

其中I是一个指示性函数，意思是大括号里的值为真时，该函数的结果为1，否则为0。