深度学习策略之损失函数（Loss Function OR Cos

image.png

一、损失函数是什么，有什么用？

损失函数，英文Loss Function 或者 Cost Function，个人理解，他是模型和算法之间的桥梁，把一个监督学习问题转化成最优化问题的桥梁。
当我们使用一个模型去“模仿”或者“探索”一个对象的时候，损失函数就是一种描述模型和模仿对象之间偏差的标准，建立这个标准后，我们要做的事情就是要尽量缩小这种偏差，使得模型具备“替换”对象的能力。

• 流程：了解对象---选择模型---监督学习问题---经验风险or结构风险（涉及到损失函数）---风险最小化---最优化问题---得到模型参数
  李航老师三部曲：模型（model）--策略（strategy）--算法（algorithm）

再附上李航老师《统计学习方法》的说明：

image.png
image.png
image.png
image.png

二、有哪些损失函数？

wiki上的介绍

image.png
image.png

三、怎么选择损失函数？

参考《TensorFlow 实战Google深度学习框架》第四章“经典损失函数”，主要分为多分类问题和回归问题：

1. 多分类问题：如何判断一个输出向量和期望的向量有多接近？交叉熵（cross entropy），刻画了通过概率分布q来表达概率分布p的困难程度。为什么要用cross entropy，而不用mean squared。

image.png

# mean squared
loss = tf.reduce_mean(tf.square(y_true - y_prediction))

# cross entropy
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels = y_true, logits = y_prediction))

详细记录下cross entropy，再细分四种：

• softmax_cross_entropy_with_logits
  只适合单目标的二分类或者多分类问题
• sparse_softmax_cross_entropy_with_logits
  softmax_cross_entropy_with_logits的易用版本，label值都是从0编码的整数

• sigmoid_cross_entropy_with_logits
  多目标，例如判断图片中是否包含10种动物，label值可以包含多个1或0个1
• weighted_sigmoid_cross_entropy_with_logits
  sigmoid_cross_entropy_with_logits的拓展版，多支持一个pos_weight参数，目的是可以增加或者减小正样本在算Cross Entropy时的Loss

2. 回归问题：最常用的损失函数是均方差（MES, Mean square error）

   
   image.png

3. 自定义损失函数 tf.greater（待再次想想）

三、正则化项（regularization）L1和L2

正则化，统计学领域的人喊她惩罚项，数学界会喊她范数。整体来说本质不变，源于数学。

第一点李航老师的《统计学习方法》已经明确“为什么需要”正则化（regularization）了。简单点说就是为了防止过拟合，把描述模型复杂度的正则化项加入到经验风险最小化，得到结构风险最小化的策略。

问：正则化项的是如何描述模型的复杂度呢？
答：通过对权重参数w求绝对值之和或平方和，
问：不禁又问，w变大怎么影响模型的复杂度呢？
答：因为若权重参数w很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』

严重参考：“机器学习中正则化项L1和L2的直观理解”

1. L1正则化（L1范数）：权值向量w中各个元素的绝对值之和

   
   image.png

image.png

2. L2正则化（L2范数）：权值向量w中各个元素的平方和

   
   image.png

image.png

问：L1比L2更容易让参数变得稀疏？why？
答：L1有更多突出的角，而这些角上很多权值w取值为0，另外角更突出，所以更加容易与经验风险最小化部分产生交叉求得解。

四、code

# loss = tf.reduce_mean(tf.square(y - y_pred))

# 结构风险=经验风险+正则化，经验风险使用交叉熵，正则化使用L2。
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels = y, logits = finalOutput))\
#        + tf.contrib.layers.l2_regularizer(0.05)(W1) + tf.contrib.layers.l2_regularizer(0.05)(W2) +  tf.contrib.layers.l2_regularizer(0.05)(W3)  

五、TensorFlow直接支持的cross entropy

image.png