加法
$$a+b$$
线性代数方程
$$z=w^Tx+b$$
sigmoid函数
$$\frac{1}{1+e^{-z}}$$
二分类代价函数
$$J=-\frac{1}{m}\sum_{i=1}^{m}[y \ln(a) + (1-y)\ln(1-a)]$$
softmax函数(归一化指数函数)
$$
softmax(X_{m * n})=
\left [
\begin {matrix}
\frac {e^{x_{11}}}{\sum_{i=1}^{n} e^{x_{1 i}}} & \frac {e^{x_{12}}}{\sum_{i=1}^{n} e^{x_{1 i}}} & ... & \frac {e^{x_{1n}}}{\sum_{i=1}^{n} e^{x_{1 i}}}
\\
\frac {e^{x_{2 1}}}{\sum_{i=1}^{n} e^{x_{2 i}}} & \frac {e^{x_{2 2}}}{\sum_{i=1}^{n} e^{x_{2 i}}} & ... & \frac {e^{x_{2 n}}}{\sum_{i=1}^{n} e^{x_{2 i}}}
\\
\vdots & \vdots & \ddots & \vdots
\\
\frac {e^{x_{m 1}}}{\sum_{i=1}^{n} e^{x_{m i}}} & \frac {e^{x_{m 2}}}{\sum_{i=1}^{n} e^{x_{m i}}}
& ... & \frac {e^{x_{m n}}}{\sum_{i=1}^{n} e^{x_{m i}}}
\end {matrix}
\right ]
$$
贝叶斯规则
推导得
$$Pr(B|A)=\frac {Pr(A|B)·Pr(B)}{Pr(A)}=\frac {Pr(A\cap B)}{Pr(A)}$$
tanh(z)函数
$$\frac {e^z-e^{-z}}{e^z+e^{-z}}$$
网友评论