搭建金融信贷风控中的机器学习模型-(7)神经网络

作者: GQRstar | 来源:发表于2019-09-28 08:17 被阅读0次

神经网络是一个适应性很强的模型，在回归问题和分类问题中都有大量的实际应用。由于其模型的多样性，针对不同的场景可衍生出不同的神经网络，神经网络模型的性能比较好，同时对数据的要求比较高，参数多计算量大，对调参带来一定压力。

1.人工神经网络（Artificial Neural Network）

人工神经网络没有一个严格的正式定义。它的基本特点是，试图模拟大脑的神经元之间传递、处理信息的模式。神经网络的划分主要考虑网络连接的拓扑结构、神经元的特征、神经元的特征、学习规则等。根据连接的拓扑结构，神经网络模型可以分为前向网络和反馈网络。

2.激活函数

sigmoid函数：
$f(x) = \frac{1}{1+e^{-x}}$
特点：

取值介于0~1
$x$ 超出[-6,6]时，取值基本没有变化
$f^{'}(x) = f(x)*(1-f(x))$

双曲正切函数：
$tanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}$
特点：

取值介于-1~1
$x$ 超出[-3,3]时，取值基本没有变化
$tanh^{'}(x) = 1-tanh(x)^2$

修正线性单元函数(Rectifier Linear Units,ReLU):
$f(x) = max(1,x)$
特点：

只有一半激活区，一半为0
不会梯度消失
计算简单，速度快，加速训练
更接近生物学原理

Softplus函数：
$f(x) = log(1+e^x)$
特点：

$x$ 趋于负无穷时，取值趋于0， $x$ 趋于正无穷时，取值趋于 $x$
是ReLU函数的平滑版
是Sigmoid函数的原函数

3.损失函数

回归中的均方损失：
$E = \frac{1}{2}(y-\hat{y})^2$
分类中的交叉熵损失函数：
$E = -\sum_m{y_k}log(\hat{y_k})$
熵：香农信息量 $log\frac{1}{p}$ 的期望。对于样本 $x_i$ ,假设真实的分布为 $p_i(x)$ ,则熵为：
$H(x) = -\sum_{i=1}^mp_i(x)logp_i(x)$
KL散度：如果用预测的分布 $q_i(x)$ 代替真实的分布 $p_i(x)$ ，则需要额外的信息增量：
$KL(p,q)=\sum_{i=1}^mp_i(x)log(\frac{p_i(x)}{q_i(x)})=\sum_{i=1}^mp_i(x)log(p_i(x))-\sum_{i=1}^mp_i(x)log(q_i(x))=-H(x)-\sum_{i=1}^mp_i(x)log(q_i(x))$