layout: post
title: "[深度學(xué)習(xí)] 1 神經(jīng)網(wǎng)絡(luò)"
date: 2016-08-14 23:34:41
category: "深度學(xué)習(xí)"

如今深度學(xué)習(xí)的研究越來越受到國(guó)內(nèi)外學(xué)術(shù)界和商業(yè)界的青睞，本專題旨在從原理到應(yīng)用對(duì)深度學(xué)習(xí)進(jìn)行剖析講解。歡迎大家對(duì)本人拙見給予指正。

1. 簡(jiǎn)介

多層感知網(wǎng)絡(luò)，是一種人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是非參數(shù)估計(jì)器。

1 - 用途：分類、回歸
2 - 訓(xùn)練算法：后向傳播算法

1.1理解人腦

信息處理系統(tǒng)具有三個(gè)層面，稱為分析層面：

1 - 計(jì)算理論：例如【排序】，對(duì)給定的元素集合排序；
2 - 表示和算法：例如【排序】，整數(shù)、快速排序；
3 - 硬件實(shí)現(xiàn)：例如【排序】，可執(zhí)行代碼。

人腦是學(xué)習(xí)或模式識(shí)別（計(jì)算理論）的一種硬件實(shí)現(xiàn)，當(dāng)我們研究人工神經(jīng)網(wǎng)絡(luò)時(shí)，我們處于表示和算法層面。

1.2 并行處理

目前有兩種并行處理范性：

1 - SIMD（單指令多數(shù)據(jù)）：所有的處理器執(zhí)行相同的命令，在數(shù)據(jù)的不同部分執(zhí)行；
2 - MIMD（多指令多數(shù)據(jù)）：不同的處理器可以在不同的數(shù)據(jù)上執(zhí)行不同的指令。

人工神經(jīng)網(wǎng)絡(luò)是一種我們可以使用當(dāng)前技術(shù)構(gòu)建的，利用并行硬件的方法。

2. 感知器

感知器是最基本處理單元，它具有輸入、連接權(quán)重和輸出，其中：

1 - 輸入：可能來自環(huán)境或者其他感知器的輸出
2 - 連接權(quán)重：是與每一個(gè)輸入相關(guān)聯(lián)的值
3 - 輸出：是輸入與權(quán)重的函數(shù)值

3. 訓(xùn)練感知器

感知器定義了一個(gè)超平面，而神經(jīng)網(wǎng)絡(luò)感知器只不過是實(shí)現(xiàn)超平面的一種方法。
給定數(shù)據(jù)樣本，可以 離線 地計(jì)算權(quán)重，當(dāng)他們代入時(shí)，感知器可以用來計(jì)算輸出值。

  在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，如果未提供全部樣本，而是逐個(gè)提供實(shí)例，則通常使用在線學(xué)習(xí)；
并且在每個(gè)實(shí)例到達(dá)后更新網(wǎng)絡(luò)參數(shù)，讓網(wǎng)絡(luò)緩慢地及時(shí)調(diào)整。

如果誤差函數(shù)是可微的，則可以使用梯度下降。

4. 多層感知器

具有單層權(quán)重的感知器只能近似輸入的線性函數(shù)，不能解決像XOR這樣的問題，這些問題的判別式是非線性的。類似的，這種感知器也不能用于非線性回歸。
對(duì)于輸入和輸出層之間存在中間層或隱藏層的前饋網(wǎng)絡(luò)，就不存在這種局限性。如果用于分類，這種多層感知器（MLP）可以實(shí)現(xiàn)非線性判別式，而如果用于回歸，可以近似輸入的非線性函數(shù)。

如果隱藏層單元的輸出是線性的，則隱藏層就沒有用；線性組合的線性組合還是一種線性組合。

5. 后向傳播算法

訓(xùn)練多層感知器與訓(xùn)練一個(gè)感知器一樣。唯一的區(qū)別是現(xiàn)在的輸出是輸入的非線性函數(shù)，這多虧了隱藏單元中的非線性偏移函數(shù)。

6. 訓(xùn)練過程

1 - 改善收斂性
2 - 過分訓(xùn)練
3 - 構(gòu)造網(wǎng)絡(luò)

7. 深度學(xué)習(xí)

具有一個(gè)隱藏層的MLP的能力有限，而使用具有多個(gè)隱藏層的MLP可以學(xué)習(xí)輸入的更復(fù)雜的函數(shù)，這就是深度神經(jīng)網(wǎng)絡(luò)背后的思想。

在深度學(xué)習(xí)中，基本思想是以最小的人力學(xué)習(xí)遞增的抽象的特征層。