下面將按照三個主題來介紹常用的概念和術語：
1、神經(jīng)網(wǎng)絡(Neural Network)
2、卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network)
3、循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networks)
神經(jīng)網(wǎng)絡
神經(jīng)網(wǎng)絡的定義：神經(jīng)網(wǎng)絡由許多相互關聯(lián)的概念化的人造神經(jīng)元組成，它們之間傳遞相互數(shù)據(jù)，并且具有根據(jù)網(wǎng)絡”經(jīng)驗“調(diào)整的相關權重。神經(jīng)元具有激活閾值，如果通過其相關權重的組合和傳遞給他們的數(shù)據(jù)滿足這個閾值的話，其將被激活;發(fā)射神經(jīng)元的組合導致“學習”。
神經(jīng)元（Neuron）? ?
權重（Weights）? ? ?
偏差（Bias）
激活函數(shù)（Activation Function）：常用的激活函數(shù)有Sigmoid、ReLUctant、Softmax
輸入/輸出、隱藏層（Input / Output / Hidden Layer）
多層感知機（MLP：Multi-Layer Perception）
正向傳播（Forward Propagation）? ?
反向傳播（BackPropagation）
成本函數(shù)/損失函數(shù)（Cost Function）
梯度下降（Gradient Descent)
學習率（Learning Rate）
批次（Batches）? ? ?
丟棄（Dropout）
批量歸一化（Batch Normalization）
卷積神經(jīng)網(wǎng)絡
濾波器（Filters）
池化（Pooling）
填充（Padding）
數(shù)據(jù)增強（Data Augmentation）
循環(huán)神經(jīng)網(wǎng)絡
消失梯度問題（Exploding Gradient Problem）
激增梯度問題（Exploding Gradient Problem）
