• ＃決策層次
  決策是指模型怎樣利用輸入信息得到輸出

規(guī)則方法

這里所說的規(guī)則方法是指顯式地使用規(guī)則，并且規(guī)則集合是由人所規(guī)定的，使用時不再變化。由于對復雜任務規(guī)則難以描述、難以覆蓋復雜輸入情況，因此只適用于簡單，容易描述的任務。

學習方法

其實學習方法的規(guī)則集合是模型自動生成的。據(jù)此可將學習方法分為顯式規(guī)則集合與隱式規(guī)則集合。-

• 隱式是指規(guī)則對于人類不可解釋，這樣的模型很多。因為現(xiàn)在的模型都是數(shù)值模型，所以規(guī)則一般隱藏于數(shù)值之中。學習方法能夠通過調(diào)整數(shù)值學習到不同規(guī)則，依據(jù)大規(guī)模標記訓練樣本。就能學習到隱式的，對任務表現(xiàn)良好的規(guī)則。這就是當前的機器學習。我們?nèi)祟愑泻芏嗫偨Y(jié)的規(guī)則沒法“傳授”給隱式規(guī)則學習模型。可以認為是兩個物種之間的溝通障礙。一種比較笨的、不過可行的是通過數(shù)據(jù)進行溝通：對于一條規(guī)則，人類用其生成標記數(shù)據(jù)，把標記數(shù)據(jù)送入模型進行學習。例如圖像識別中利用旋轉(zhuǎn)、縮放、平移的不變性對標記樣本進行擴展。這也存在問題：1. 用規(guī)則生成數(shù)據(jù)是幾何增長的 2. 用數(shù)據(jù)體現(xiàn)規(guī)則是及其冗余并且不全面的。我們?nèi)祟惢ㄙM幾十個世紀，不斷從這復雜的世界中總結(jié)規(guī)律，就是為了利用盡可能少的規(guī)則來描述這個世界、預測未來發(fā)展。

• 顯式是指對于人類可解釋的。這樣人類就可以直接對規(guī)則集合進行擴充和修改。這個要求比較高，目前經(jīng)典模型缺乏(筆者知識范圍內(nèi))。

• 信息處理層次

規(guī)則與學習方法也可以進一步體現(xiàn)在信息處理方式上
模型的輸入信息通常是高維的，無法直接用于決策，需要進一步進行信息處理，得到對決策更加有效的信息，這就是特征，特征是模型決策的依據(jù)（輸入），有效是指對不同輸出的區(qū)分性，也就是模型的正確率。
特征的提取方式比決策更加難以用規(guī)則進行描述。這涉及到人類大腦的潛意識處理機制，一時無法進行解釋。不過現(xiàn)在的機器學習方法可以自動學習到特征的提取方式（輸入信息的處理方式），不過是否與人類的處理方式一樣很難說。其實特征提取是條條道路通羅馬，尤其對于復雜的任務，沒有絕對正確的提取方法。
特征提取方式人類可以某種程度上可以傳授給學習方法，一般是通過調(diào)整模型的超參數(shù)，比如信息處理的范圍，或者直接告訴那些可以作為特征。也就是模型的設計上處處體現(xiàn)了設計者的傳授方法。常說的trick，就是一些比較有效的信息處理規(guī)則。