加法

$$a+b$$

線性代數(shù)方程

$$z=w^Tx+b$$

sigmoid函數(shù)

$$\frac{1}{1+e^{-z}}$$

二分類代價函數(shù)

$$J=-\frac{1}{m}\sum_{i=1}^{m}[y \ln(a) + (1-y)\ln(1-a)]$$

softmax函數(shù)（歸一化指數(shù)函數(shù)）

$$
softmax(X_{m * n})=
\left [ 
\begin {matrix}
\frac {e^{x_{11}}}{\sum_{i=1}^{n} e^{x_{1 i}}} & \frac {e^{x_{12}}}{\sum_{i=1}^{n} e^{x_{1 i}}} & ... & \frac {e^{x_{1n}}}{\sum_{i=1}^{n} e^{x_{1 i}}} 
\\
\frac {e^{x_{2 1}}}{\sum_{i=1}^{n} e^{x_{2 i}}} & \frac {e^{x_{2 2}}}{\sum_{i=1}^{n} e^{x_{2 i}}} & ... & \frac {e^{x_{2 n}}}{\sum_{i=1}^{n} e^{x_{2 i}}}
\\
\vdots & \vdots & \ddots & \vdots
\\ 
\frac {e^{x_{m 1}}}{\sum_{i=1}^{n} e^{x_{m i}}} & \frac {e^{x_{m 2}}}{\sum_{i=1}^{n} e^{x_{m i}}} 
& ... & \frac {e^{x_{m n}}}{\sum_{i=1}^{n} e^{x_{m i}}}
\end {matrix} 
\right ]
$$

貝葉斯規(guī)則

推導(dǎo)得

$$Pr(B|A)=\frac {Pr(A|B)·Pr(B)}{Pr(A)}=\frac {Pr(A\cap B)}{Pr(A)}$$

tanh(z)函數(shù)

$$\frac {e^z-e^{-z}}{e^z+e^{-z}}$$