極限學(xué)習(xí)機(jī)原理
詳見ELM極限學(xué)習(xí)機(jī)--筆記
詳見極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)原理詳解和MATLAB實(shí)現(xiàn)
1.創(chuàng)始人：
黃教授微博：
黃廣斌-ELM的微博_微博
文章來源：
Extreme Learning Machines: Random Neurons, Random Features, Kernels
2.人工智能和機(jī)器學(xué)習(xí)發(fā)展的三次浪潮
機(jī)器學(xué)習(xí)時(shí)代的必要條件：
（1）高效的計(jì)算環(huán)境
（2）豐富多態(tài)的數(shù)據(jù)
（3）高效的學(xué)習(xí)算法
另外機(jī)器學(xué)習(xí)和人工智能幾乎是相伴的，兩者之間的發(fā)展趨勢(shì)如下：
類比于生物神經(jīng)網(wǎng)絡(luò)，創(chuàng)生了人工神經(jīng)網(wǎng)絡(luò)，在人工神經(jīng)網(wǎng)絡(luò)中，研究者認(rèn)為所有網(wǎng)絡(luò)的隱層神經(jīng)元都需要進(jìn)行不斷的調(diào)整。但是詳細(xì)想生物有那么多的神經(jīng)是每一個(gè)都有必要進(jìn)行調(diào)節(jié)？？每一個(gè)都被用到了嗎？所以提出了四個(gè)問題：
（1）真的有必要花費(fèi)那么多的人力來尋找這種需要人工調(diào)整隱層參數(shù)的學(xué)習(xí)算法，并應(yīng)用與不同的神經(jīng)網(wǎng)絡(luò)？顯然生物大腦匯中并沒有調(diào)整參數(shù)的精靈
（2）我們真的需要不同的學(xué)習(xí)算法來使不同類型的神經(jīng)網(wǎng)絡(luò)可以進(jìn)行特征學(xué)習(xí)，聚類，回歸和分類嗎？
（3）為什么生物大腦比那些繼承人共學(xué)習(xí)算法的機(jī)器更加“高效”和智能？
（4）為什么“一個(gè)不完美的神經(jīng)網(wǎng)絡(luò)，它包含很多隨機(jī)連接，卻能穩(wěn)定的執(zhí)行那些需要完美電路才能執(zhí)行的功能？”、
目錄
極限學(xué)習(xí)機(jī)的MATLAB實(shí)踐
引言
極限學(xué)習(xí)機(jī)不是一個(gè)新的東西，只是在算法（方法）上有新的內(nèi)容。在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，就是一個(gè)前向傳播的神經(jīng)網(wǎng)絡(luò)，和之前幾篇博文講的意義。
為什么我們需要ELM？
The learning speed of feedforward neural networks is in general far slower than required and it has been a major bottleneck in their applications for past decades. Two key reasons behind may be:
the slow gradient-based learning algorithms are extensively used to train neural networks.
all the parameters of the networks are tuned iteratively by using such learning algorithms.
最大的創(chuàng)新點(diǎn)：
1）輸入層和隱含層的連接權(quán)值、隱含層的閾值可以隨機(jī)設(shè)定，且設(shè)定完后不用再調(diào)整。這和BP神經(jīng)網(wǎng)絡(luò)不一樣，BP需要不斷反向去調(diào)整權(quán)值和閾值。因此這里就能減少一半的運(yùn)算量了。
2）隱含層和輸出層之間的連接權(quán)值β不需要迭代調(diào)整，而是通過解方程組方式一次性確定。
研究表明，通過這樣的規(guī)則，模型的泛化性能很好，速度提高了不少。
一言概之，ELM最大的特點(diǎn)就是對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)，在保證學(xué)習(xí)精度的前提下比傳統(tǒng)的學(xué)習(xí)算法速度更快。
Compared BP Algorithm and SVM，ELM has several salient features:
?Ease of use. No parameters need to be manually tuned except predefined network architecture.只有隱含層神經(jīng)元個(gè)數(shù)需要我們調(diào)整。
?Faster learning speed. Most training can be completed in milliseconds, seconds, and minutes.
?Higher generalization performance. It could obtain better generalization performance than BP in most cases, and reach generalization performance similar to or better than SVM.（泛化能力提升）
?Suitable for almost all nonlinear activation functions.Almost all piecewise continuous (including discontinuous, differential, non-differential functions) can be used as activation functions.
?Suitable for fully complex activation functions. Fully complex functions can also be used as activation functions in ELM.
ELM的作者，黃廣斌老師提供的代碼：http://www.ntu.edu.sg/home/egbhuang/elm_codes.htm
參考博文：https://blog.csdn.net/google19890102/article/details/18222103?utm_source=copy
