- 感知器
- 激活函數(shù)
- 神經(jīng)網(wǎng)絡(luò)
- 小結(jié)
本文從感知器開始講起，引入激活函數(shù)，最后引出了神經(jīng)網(wǎng)絡(luò)的基本概念和思想，希望能幫助讀者對神經(jīng)網(wǎng)絡(luò)有一個初步的了解！
感知器
人工神經(jīng)網(wǎng)絡(luò)的第一個里程碑是感知機perceptron， 但感知器本質(zhì)上是用來決策的。 一個感知機其實是對神經(jīng)元最基本概念的模擬 ，都未必有多少網(wǎng)絡(luò)概念，他就是一個自動做決策的機器。
感知器純粹從數(shù)學的角度的上看，其實就可以理解為一個黑盒函數(shù)，接受若干個輸入，產(chǎn)生一個輸出的結(jié)果，這個結(jié)果就代表了感知器所作出的決策！
舉一個簡單的例子，假設(shè)我們需要判斷小明同學是否喜歡一個女生，主要考慮有以下三個因素，女生的顏值(0-10分)，女生的身材(0-10分)，女生的性格(0-10分)，那么對于一個女生我們只需要將這三個因素量化出來，輸入到感知器中，然后就能得到感知器給我們決策的結(jié)果。而感知器內(nèi)部決策的原理，其實就是給不同的因素賦予不同的權(quán)重，因為不同的因素的重要性對小明來說，自然是不相同的。然后設(shè)置一個閾值，如果加權(quán)計算之后的結(jié)果大于等于這個閾值，就說明可以判斷為喜歡，否則則是不喜歡！所以感知器本質(zhì)上就是一個通過加權(quán)計算函數(shù)進行決策的工具！
根據(jù)上面這個公式，我們可以進一步簡化，將閾值移到不等式的一邊，并且將其稱為偏移，那么所有的問題就統(tǒng)一成了一個‘閾值’為0的問題！
偏移的意義其實就是閾值，你可以將偏移想象成使感知器如何更容易輸出 1，或者用更加生物學術(shù)語，偏移是指衡量感知器觸發(fā)的難易程度。對于一個大的偏移，感知器更容易輸出 1。如果偏移負值很大，那么感知器將很難輸出 1。
實際應(yīng)用中的感知器模型往往更加復雜，如下圖所示：
激活函數(shù)
感知器的學習過程就是通過改變感知器內(nèi)部的權(quán)重和偏移，以使其的輸出結(jié)果符合期望！但我們仔細觀察前文的感知器模型，可以發(fā)現(xiàn)，每個感知器的輸出可以看作是一個階躍函數(shù)
只有兩種輸出結(jié)果，要么是0，要么是1
問題就出現(xiàn)了，這樣的話，感知器似乎就變成了一個離散的函數(shù)！，如果我們稍微改變權(quán)重或者偏移，得到的結(jié)果就是要么不變，要么就感知器的輸出徹底相反。而我們原本期望的是，每個感知器都對輸出結(jié)果有一定的比重的貢獻，單個感知器權(quán)重或偏移的變化應(yīng)該是對輸出結(jié)果產(chǎn)生微小影響的，而不是劇變。
另一方面來講，感知器模型本質(zhì)上惡意理解為函數(shù)的擬合，如果感知器的輸出都是離散的二元狀態(tài)，并且是前文簡單的加權(quán)形式，也就是線性的，那么只能進行線性的擬合，不具備處理非線性問題的能力！
所以這個時候激活函數(shù)就出現(xiàn)了，激活函數(shù)就是在感知器加權(quán)計算之后，再輸入到激活函數(shù)中進行計算，得到一個輸出！
我們以常見的激活函數(shù)sigmoid函數(shù)為例，
加入激活函數(shù)之后，每個感知器的函數(shù)實際上就變成了如下形式
我們觀察一下，此時感知器函數(shù)的圖像
可以對比前文的階躍的輸出圖像，我們將一個離散的輸出變?yōu)橐粋€連續(xù)的非線性的輸出結(jié)果！同時，單個感知器權(quán)重和偏移的細微改變，只會對輸出結(jié)果產(chǎn)生相應(yīng)的平滑的影響，而不是階躍式的影響！跟做人一樣的道理，不要太武斷，太極端，未加入激活函數(shù)的感知器模型，就屬于非常極端的，要么0，要么1。而加入激活函數(shù)后，會是一個在0~1之間的值。
激活函數(shù)的理論解釋
激活函數(shù)是用來加入非線性因素的，解決線性模型所不能解決的問題。
假設(shè)這么一個情景：
我們有這個需求，就是二分類問題，如我要將下面的三角形和圓形點進行正確的分類，如下圖：
利用我們單層的感知機, 用它可以劃出一條線, 把平面分割開：
該感知器實現(xiàn)預(yù)測的功能步驟如下，就是我已經(jīng)訓練好了一個感知器模型，后面對于要預(yù)測的樣本點，帶入模型中，如果y>0,那么就說明是直線的右側(cè)，也就是正類（我們這里是三角形），如果y<0,那么就說明是直線的左側(cè)，也就是負類（我們這里是圓形
好吧，很容易能夠看出，我給出的樣本點根本不是線性可分的，一個感知器無論得到的直線怎么動，都不可能完全正確的將三角形與圓形區(qū)分出來，那么我們很容易想到用多個感知器來進行組合，以便獲得更大的分類問題，好的，下面我們上圖，看是否可行：
好的，我們已經(jīng)得到了多感知器分類器了，那么它的分類能力是否強大到能將非線性數(shù)據(jù)點正確分類開呢~我們來分析一下：
我們能夠得到
化簡后就是
不管它怎么組合，最多就是線性方程的組合，最后得到的分類器本質(zhì)還是一個線性方程，該處理不了的非線性問題，它還是處理不了。
所以如果沒有激活函數(shù)，那么感知器模型實際上就是在擬合一個線性方程而已，這樣的話，能夠解決的問題，自然就是太局限了！
激活函數(shù)的作用就出來了，將一個線性的函數(shù)變?yōu)橐粋€非線性的函數(shù)！我們依然以最常用的sigmoid激活函數(shù)為例：
通過這個激活函數(shù)映射之后，輸出很明顯就是一個非線性函數(shù)！能不能解決一開始的非線性分類問題不清楚，但是至少說明有可能啊，上面不加入激活函數(shù)神經(jīng)網(wǎng)絡(luò)壓根就不可能解決這個問題~
同理，擴展到多個神經(jīng)元組合的情況時候，表達能力就會更強~對應(yīng)的組合圖如下：（現(xiàn)在已經(jīng)升級為三個非線性感知器在組合了）
最后再通過最優(yōu)化損失函數(shù)的做法，我們能夠?qū)W習到不斷學習靠近能夠正確分類三角形和圓形點的曲線，到底會學到什么曲線，不知道到底具體的樣子，也許是下面這個~
所以到這里為止，我們就解釋了這個觀點，加入激活函數(shù)是用來加入非線性因素的，解決線性模型所不能解決的問題。
神經(jīng)網(wǎng)絡(luò)
介紹了感知器和激活函數(shù)，實際上我們已經(jīng)將神經(jīng)網(wǎng)絡(luò)的基本概念了解的差不多了。將感知器套上激活函數(shù)實際上就是神經(jīng)網(wǎng)絡(luò)。
和感知器模型一樣，神經(jīng)網(wǎng)絡(luò)的基本單位是神經(jīng)元，每個神經(jīng)元分別接受輸入和輸出，但與感知器不同的是，除了進行加權(quán)計算，還需要利用激活函數(shù)輸出！
假如我們有如下網(wǎng)絡(luò)：
就像先前說的，網(wǎng)絡(luò)的最左邊一層被稱為輸入層，其中的神經(jīng)元被稱為輸入神經(jīng)元。最右邊及輸出層包含輸出神經(jīng)元，在這個例子中，只有一個單一的輸出神經(jīng)元。中間層被稱為隱含層，因為里面的神經(jīng)元既不是輸入也不是輸出?！半[含”這個術(shù)語可能聽起來很神秘——當我第一次聽到時候覺得一定有深層的哲學或者數(shù)學意義——但實際上它只表示“不是輸入和輸出”而已。上面的網(wǎng)絡(luò)只包含了唯一個隱含層，但是一些網(wǎng)絡(luò)可能有多層。比如，下面的4層網(wǎng)絡(luò)具有2個隱含層：
神經(jīng)網(wǎng)絡(luò)的基本思想就是建立在感知器和激活函數(shù)上的。對于多個輸入，在神經(jīng)網(wǎng)絡(luò)經(jīng)過多個神經(jīng)元計算之后，得到多個或者單個輸出。檢查輸出結(jié)果是否與期望的一致，如果不一致，就對神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的權(quán)重進行調(diào)整，我們已經(jīng)知道，神經(jīng)元權(quán)重的細微調(diào)整會引起輸出結(jié)果的細微變化，這樣多個神經(jīng)元組合起來，逐漸調(diào)整，直到符合預(yù)期的輸出結(jié)果，我們就可以認為神經(jīng)網(wǎng)絡(luò)訓練成功了！這里所說的訓練調(diào)整的方法，利用到了梯度下降法，對神經(jīng)網(wǎng)絡(luò)進行反向傳播，我們將在后續(xù)的文章進行詳細的介紹!
小結(jié)
本文從感知器模型開始，繼而引入激活函數(shù)，最后引出了神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和思想，后續(xù)將會詳細介紹神經(jīng)網(wǎng)絡(luò)自主學習的原理！
