????如果得到了輸入變量X和輸出變量Y的聯(lián)合分布，p（X，Y），推理就是簡(jiǎn)單的概率運(yùn)算p(Y|X)。機(jī)器學(xué)習(xí)中這個(gè)聯(lián)合分布是未知的，可見(jiàn)的是一個(gè)D:（xi，yi）的樣本集合，現(xiàn)在的問(wèn)題是，給出一個(gè)x，它不在樣本集合中，讓你估計(jì)出一個(gè)y。

? ? 前幾篇談到機(jī)器學(xué)習(xí)問(wèn)題是在所有可能的概率分布中找到一個(gè)分布，使得p(D）概率最大，也就是最大?，F(xiàn)在讓我們直擊問(wèn)題本身：如果除了問(wèn)題本身給出的樣本集，沒(méi)有任何其他假定條件存在，這時(shí)我們干脆就構(gòu)造一個(gè)分布 :

? ??????????????????????????????????????????????

????這個(gè)分布使得樣本集出現(xiàn)的概率是1， 除此之外的任何樣本集出現(xiàn)的概率都是0。 這個(gè)分布的潛臺(tái)詞是：我只承認(rèn)我所見(jiàn)到的；只有我已經(jīng)見(jiàn)到的才是已經(jīng)發(fā)生的和可能發(fā)生的。用它作為推理機(jī)，給出x，這個(gè)x不在樣本中，那么任何y的p(y|x)都是0。這個(gè)推理機(jī)沒(méi)有任何推理能力，但它確實(shí)使得已知樣本集以最大概率1出現(xiàn)。

????這個(gè)沒(méi)有任何推理能力的分布被稱(chēng)為經(jīng)驗(yàn)分布，這個(gè)分布是一個(gè)純粹的以樣本集這個(gè)當(dāng)前經(jīng)驗(yàn)為唯一條件的分布，沒(méi)有利用任何其他先驗(yàn)知識(shí)為條件。但問(wèn)題在于，我們的問(wèn)題也并未給出其他條件，經(jīng)驗(yàn)分布這個(gè)回答是沒(méi)有任何毛病的。正是因?yàn)檫@種情況，“給出一個(gè)x，它不在樣本集合中，讓你估計(jì)出一個(gè)y”這個(gè)問(wèn)題是一個(gè)傻瓜問(wèn)題，英文是ill-posed。

? ? 統(tǒng)計(jì)推理，以及機(jī)器學(xué)習(xí)，當(dāng)然不是在回答一個(gè)毫無(wú)意義的傻瓜問(wèn)題。為了使得答案有意義，必須為p(x, y)或p(y|x)做一些假定，引入先驗(yàn)知識(shí)，這些先驗(yàn)知識(shí)在第一篇有所羅列。

? ? 離開(kāi)先驗(yàn)就沒(méi)有統(tǒng)計(jì)推斷和機(jī)器學(xué)習(xí)。建立先驗(yàn)知識(shí)的概念至關(guān)重要。