前提：
二维随机变量(x,y)，所有可能的取值为，其中,，且, 。

概率分布

类型	表达式
联合概率分布	,
条件概率分布
全概率公式
x和y条件独立
x和y有相关性

熵

条件熵：

联合熵：

交叉熵：
二分类：
多分类：

Perplexity：

各种指数

点互信息PMI, pointwise mutual info or point mutual info:

PMI为0，则随机变量x和y之间相互独立。

互信息MI, mutual info:

MI是非负的，为0时，则随机变量x和y之间相互独立。

信息增益Info Gain：

基尼指数Gini Index：

树模型分裂时：

KLD：

2个分布的dissimilarity，越小越好。

JSD Jensen-Shannon(JS) Divergence：

def kl_divergence(p, q):
#  same as scipy.special.rel_entr
    return np.sum(np.where(p[i]!=0, p[i]*log2(p[i]/q[i]),0) for p[i],q[i] in zip(p,q))

def js_divergence(p,q):
    m = 0.5*(p+q)
    return 0.5 * kl_divergence(p,m) + 0.5*kl_divergence(q,m)

Loss Function

MSE: 回归模型使用，对outlier敏感，收敛更快

MAE: GBDT的损失函数，对outlier没那么敏感

Hinge Loss (SVM)

Huber Loss