1.深度学习基础篇

1.1基础知识

• 神经元
  MCP模型由两位作者名字命名

  
  image.png
  

  流程是将输入乘以权重，加权求和，对求和值与阈值进行比较，大于阈值输出1，小于阈值输出0.能够实现二分类。

  
  image.png

• 单层感知机
  单层感知机与MCP类似，区别是添加了偏置项b,及激活函数。

  
  image.png
  

  激活函数

  
  image.png
  给定一个 n 维数据集，如果它可以被一个超平面完全分割，那么我们称这个数据集为线性可分数据集，否则，则为线性不可分的数据集。单层感知机只能处理线性可分数据集，其任务是寻找一个线性可分的超平面将所有的正类和负类划分到超平面两侧。
  单层感知机可被用来区分线性可分数据。在图 2 中，逻辑与(AND)、逻辑与非(NAND)和逻辑或(OR)为线性可分函数，所以可利用单层感知机来模拟这些逻辑函数。但是，由于逻辑异或（XOR）是非线性可分的逻辑函数，因此单层感知机无法模拟逻辑异或函数的功能。
  image.png

• 多层感知机
  由于单层感知机不能处理异或或者其他复杂问题，所有后续多层感知机希望通过添加多个隐藏层增强模型的非线性能力。相邻层间所有单元采用全连接形式。

  
  image.png

1.2 向量距离与相似度

两个n维向量x和y ，可以通过两个向量之间的距离或者相似度来判定这两个向量的相近程度。

距离

• 闵可夫斯基距离
  当p=1时，Minkowski Distane 便是曼哈顿距离；当p=2时，Minkowski Distane 便是欧式距离；Minkowski Distane 取极限的形式便是切比雪夫距离。

  
  image.png

• 曼哈顿距离（L1范数引申而来）

  
  image.png

• 欧氏距离（L2范数引申而来）

  
  image.png

• 切比雪夫距离

  
  image.png

• 海明距离
  信息论中，两个等长字符串的海明距离指的是对应位置不同字符的数目

  
  image.png
  

  其中II表示指示函数，两者相同为1，否则为0。

• KL散度
  给定随机变量X和两个概率分布P和Q，KL散度可以用来衡量两个分布之间的差异性，其公式如下：

image.png

相似度

• 余弦相似度

  
  image.png

• 皮尔逊相关系数

  
  image.png

• Jaccard 相似系数（Jaccard Coefficient）
  假设有两个集合X和Y，注意这里的两者不是向量，

  
  image.png

1.3 机器学习评价指标

• 精度Accuracy
  即所有分类正确的样本占全部样本的比例

  
  image.png

• 精确率 Precision
  预测是正例的结果中，确实是正例的比例

  
  image.png

• 召回率 recall
  即所有正例的样本中，被找出的比例

  
  image.png
• P-R曲线

*F1 值

image.png

• TPR
  真正例率，与召回率相同,找到的正例/总正例

  
  image.png

• FPR
  假正例率，找到的假正例/总负例

  
  image.png

• ROC

• AUC
  ROC的曲线下面积
  *敏感性
  即有病（阳性）人群中，检测出阳性的几率。（检测出确实有病的能力）

  
  image.png
  

  *特异性
  即无病（阴性）人群中，检测出阴性的几率。（检测出确实没病的能力）

  
  image.png