? ? ? 發(fā)現(xiàn)看了挺久時間的聚類算法，沒有總結(jié)，很容易忘，文章主要是基于【1】來講解，因為主要就是看了這篇論文，其他資料以及論文都是延展出來看的。

? ? ? 到目前為止基于深度學習的增量聚類還研究的不多，先講一下現(xiàn)在基于深度神經(jīng)網(wǎng)絡(luò)的聚類（批量數(shù)據(jù)處理），傳統(tǒng)神經(jīng)網(wǎng)絡(luò)大都是基于有監(jiān)督的，并且通過BP算法來逼近全局最佳編碼。06年之前，bp被認為在深度神經(jīng)網(wǎng)絡(luò)訓練的時候會出現(xiàn)梯度消失的問題，即前面隱藏層訓練的速度會慢于后面的隱藏層，這使得深度學習事實上并不能利用多個隱藏層，這一問題在06年被解決，加拿大多倫多大學教授Geoffrey Hinton提出來利用稀疏自編碼機進行 “ 逐層無監(jiān)督預(yù)訓練 ” ，從而使得深度學習再一次變?yōu)榻裹c。

? ? ? ? 實際上在無監(jiān)督的深度學習上有兩條主線：①自編碼機（AE）-------->稀疏自編碼機（SAE）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ②限制性玻爾茲曼機（RBM）--------->深度信念網(wǎng)絡(luò)（DBN）

? ? ? ? 關(guān)于這兩條主線，https://www.zhihu.com/question/41490383知乎上科言君的回答非常的好，我所寫的這方面背景內(nèi)容大部分來自于此，讀者可以參考。（http://www.fx361.com/page/2017/0907/2227848.shtml 同樣再給個鏈接，這里對于以上兩條主線都有詳細講解）

? ? ? ? 然后在基于深度學習的聚類算法里面，13年給出了一個專利【2】，專利實際上就是基于深度信念網(wǎng)絡(luò)和稀疏自編碼機的聚類。

? ? ? ? 講到這里實際上背景基本交代清楚了，下面探討一下深度學習批量聚類算法的優(yōu)缺點

? ? 缺點：①以上交代的能實現(xiàn)的深度學習的聚類算法都是對數(shù)據(jù)批量處理的，即一次性給定所需訓練的數(shù)據(jù)，模型訓練好以后一旦有新的數(shù)據(jù)進來，這時候就需要將所有數(shù)據(jù)合并重新訓練，這就導(dǎo)致了新模型對之前訓練的老模型的信息丟失了，這便是著名的 “遺忘災(zāi)難”，所以對于深度學習的增量聚類的研究就顯得很有必要，具體的方法將在后面做詳細講解。

? ? ? ? ? ? ? ? ②在深度訓練大數(shù)據(jù)的時候會出現(xiàn)時間過長的問題，bp算法耗時而且很容易出現(xiàn)梯度消失。

? ? 優(yōu)點：①在專利【2】上指出，深度學習聚類算法提出的背景是因為現(xiàn)在流行的一些聚類算法如基于密度聚類，K-means，譜聚類等在大數(shù)據(jù)的情況下因為消耗內(nèi)存較大使得在實際應(yīng)用中特別的浪費資源。在大數(shù)據(jù)下，使用了深度學習聚類以后能夠在占用較小的內(nèi)存的情況下還能擁有更高的聚類精度。

? ? ? 下面正式開始講基于改進神經(jīng)網(wǎng)絡(luò)的增量聚類，此處主要是在以往經(jīng)驗的基礎(chǔ)上作者提出的新的增量神經(jīng)網(wǎng)絡(luò)，相比于同樣可以做聚類的傳統(tǒng)增量神經(jīng)網(wǎng)絡(luò)ART而言，這個神經(jīng)網(wǎng)絡(luò)能夠成功的避免遺忘災(zāi)難（意為ART并沒有完全避免遺忘災(zāi)難），同樣，此網(wǎng)絡(luò)在統(tǒng)計學上有意義（現(xiàn)有的神經(jīng)網(wǎng)絡(luò)和ART的激活函數(shù)大都基于經(jīng)驗式，并沒有統(tǒng)計學上的意義）。

我們知道傳統(tǒng)神經(jīng)元和神經(jīng)系統(tǒng)模型如上所示：激活函數(shù)為sigmoid函數(shù)，只要是個類S型函數(shù)都可，神經(jīng)元之間的突觸連接權(quán)重Wi為數(shù)值。

? ? ? ? 但是作者新給出的神經(jīng)元激活函數(shù)和突觸連接權(quán)重如上圖所示f(x)是一個

? ? ? ①傳統(tǒng)激活函數(shù)的意義是激活的神經(jīng)元是釋放出‘’1"這個信號，未激活的釋放"0"這個信號，而這個激活函數(shù)的意義是當神經(jīng)元激活時候釋放"1"信號，當未激活時則不連接。?

? ? ? ②突觸連接權(quán)重W的等式和上圖圖像類似，其中Si表示小突觸數(shù)（可以理解為突觸一大條w是由許許多多小的突觸合成的）。實際上突觸的概念在神經(jīng)學上也指出神經(jīng)元之間的突觸并不是只有一條，傳統(tǒng)神經(jīng)元模型里把神經(jīng)元之間的突觸連接直接簡化為一條，這隱含著一個信息，神經(jīng)元之間的突觸總強度是所有小突觸的強度之和。顯然這個是不對的，不符合神經(jīng)學。實際上研究表明，神經(jīng)元之間的突觸連接的總強度是和當前連接強度成負相關(guān)的，即突觸總強度W是非線性變化的。

? ? ? 給定了激活函數(shù)和突觸權(quán)重，實際上在尋找網(wǎng)絡(luò)全局最佳編碼的時候該怎么做，上述各種神經(jīng)網(wǎng)絡(luò)都是在基于BP反向傳播的方法來進行調(diào)整的，我們說了這個方法比較耗時，所以作者在文中提到了一個直接通過計算得到網(wǎng)絡(luò)的全局最優(yōu)編碼，這樣就會使得網(wǎng)絡(luò)的運行變得極快，因為它只需要進行一次訓練。（私心想著作者可能就是這個想法才讓文章發(fā)表出去了吧?。。。?/p>

在這三個等式里面，前兩個等式已經(jīng)交代過，第三個等式的意思是表示神經(jīng)元之間的突觸總數(shù)是恒定的（但是突觸總強度W是不恒定的，ART里面規(guī)定了W是恒定的反而突觸的數(shù)量不恒定，這反而導(dǎo)致了不完全避免"遺忘災(zāi)難"，具體請看論文理解，筆者實力有限，描述不出來）。

? ? 這樣通過對這個資源優(yōu)化方程組的解得到全局最優(yōu)編碼。

? ? ? 下面講一下神經(jīng)網(wǎng)絡(luò)的增量設(shè)定，該神經(jīng)網(wǎng)絡(luò)引入了"側(cè)向競爭"和"勝者得全"機制，有看過SOM和ART的讀者應(yīng)該都清楚這個機制，這個機制是能夠進行增量訓練的基礎(chǔ)，筆者拋磚引玉，大家應(yīng)該知道怎么做了，這里不再贅述。

基于此神經(jīng)網(wǎng)絡(luò)的聚類模型已由上述給出，大家可以參考著去實現(xiàn)，筆者若實踐了該網(wǎng)絡(luò)會給出相關(guān)代碼。

如果有質(zhì)疑該網(wǎng)絡(luò)的，以上是該聚類算法（文章稱Incnet）在批量聚類時候和K-means以及EM的對比，相信它的效率已經(jīng)足以證明這個網(wǎng)絡(luò)的有效性。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 總結(jié)

? ? ? ? 作者也在文中表明，它給出了這個網(wǎng)絡(luò)的理論基礎(chǔ)，提出了這樣一個方向，它可以研究的地方還有很多，因為它不僅有擴展到深度的潛力，還有不用BP的優(yōu)點，我們知道傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在單層時候解決不了異或問題，而它可以（具體請看論文，看懂了的能否在評論下予以講解謝謝?。。?/p>

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? reference

【1】增量式神經(jīng)網(wǎng)絡(luò)聚類算法

劉培磊，唐晉韜，謝松縣，王挺

國 防 科 技 大 學 學 報

2016 年 10 月第 38 卷 第 5 期

( 1． 國防科技大學 計算機學院，湖南 長沙 410073;

2． 國防信息學院 信息化建設(shè)系 信息資源管理教研室，湖北 武漢 430010)

【2】一種基于深度學習的聚類算法? 專利號：CN 103530689 A

申請?zhí)枺?01310530626.9? 申請日：2013.10.31 公布日：2014.01.22

申請人：中國科學院自動化研究所

地址：100190 北京市海淀區(qū)中關(guān)村東路95號

發(fā)明人：譚鐵牛 王亮 黃永幀 宋純鋒

專利代理機構(gòu)： 中科專利商標代理有限責任公司 11021

代理人：宋焰琴

Int。CI。

G06N 3/08(2006.01)

G06K 9/62(2006.01)