機(jī)器學(xué)習(xí)中“沒有免費(fèi)的午餐”理論

沒有免費(fèi)的午餐理論最重要的寓意，是讓我們清楚地認(rèn)識(shí)到，脫離具體問題，空泛地談?wù)摗笆裁磳W(xué)習(xí)算法更好”毫無意義。與“奧卡姆剃刀”原則相似，即“若有多個(gè)假設(shè)與觀察一致，則選最簡(jiǎn)單的那個(gè)”，其實(shí)這個(gè)理論真正想表達(dá)的是 [你不可能在沒有假設(shè)的情況下從數(shù)據(jù)中學(xué)習(xí)]。

所謂“免費(fèi)的午餐”，是指您無法獲得良好的機(jī)器學(xué)習(xí)，您必須使用有關(guān)數(shù)據(jù)和我們所生活的世界（或者數(shù)據(jù)所生活的世界）的背景知識(shí)來選擇合適的機(jī)器學(xué)習(xí)模型，沒有單一的，通用的最佳機(jī)器學(xué)習(xí)算法，也沒有上下文或與使用無關(guān)的理由先驗(yàn)來支持一種算法優(yōu)于其他算法。也就是說，不能脫離具體問題來談?wù)撍惴ǖ膬?yōu)劣，任何算法都有局限性。 必須要“具體問題具體分析”。

該理論對(duì)個(gè)人的指導(dǎo)：

1、在依賴模型或搜索算法之前，請(qǐng)始終檢查您的假設(shè)。

2、沒有“超級(jí)算法”能完美適用于所有數(shù)據(jù)集。

3、公式說明

公式推導(dǎo)出來之后，我們會(huì)發(fā)現(xiàn)一個(gè)驚人的事情，就是算法a的總誤差與算法無關(guān)