??現(xiàn)在一提到AI我們想到的一般都是什么大語言模型、深度學(xué)習(xí)等，但是以算法為核心的這個領(lǐng)域的應(yīng)用，其發(fā)展的過程是怎么樣的？有怎樣的分類方法？通過這樣時間的縱向梳理和類別的橫向并列就能對這個領(lǐng)域的沿革和類別有了經(jīng)緯交織的理解，能獲得全面的一個把控，實現(xiàn)俯視這個領(lǐng)域。本篇文章說機器學(xué)習(xí)的來源與發(fā)展沿革。
??一大堆數(shù)據(jù)中存在什么結(jié)構(gòu)或者模式嗎，通過建立模型來描述這些結(jié)構(gòu)，并且把這個模型用于對未知數(shù)據(jù)進行推斷或預(yù)測。這一直是人類試圖把握世界的一種方法，這樣可以簡化對象，掌握關(guān)鍵因素和演化關(guān)系。二十世紀(jì)二十年代，基于當(dāng)時的概率和數(shù)理統(tǒng)計的發(fā)展，在小數(shù)據(jù)量上形成簡單模型，如線性回歸等，強調(diào)理論性，可解釋性好，統(tǒng)計學(xué)習(xí)應(yīng)運而生。隨著計算機技術(shù)的發(fā)展，需要大量運算的貝葉斯統(tǒng)計快速發(fā)展，成為統(tǒng)計學(xué)習(xí)的又一個主力，隨著數(shù)據(jù)海量化和數(shù)據(jù)維度的暴漲，只能使用更復(fù)雜的模型來擬合，于是在1980年代開始出現(xiàn)了改變世界的機器學(xué)習(xí)。統(tǒng)計學(xué)習(xí)更偏理論分析和可解釋性，機器學(xué)習(xí)則關(guān)注預(yù)測性能和工程實現(xiàn)。
??關(guān)注決策對結(jié)果影響的“統(tǒng)計決策”在構(gòu)建模型中的核心地位，引入優(yōu)化理論（如梯度下降）來構(gòu)建有效算法，將生物學(xué)和物理學(xué)的一些方法引入到模型中，這是機器學(xué)習(xí)對統(tǒng)計學(xué)習(xí)的發(fā)展。
??機器學(xué)習(xí)有多條發(fā)展路線，其中基于模仿生物神經(jīng)元連接方式的連接主義取得了很好的效果。在此基礎(chǔ)上，發(fā)展出了深度學(xué)習(xí)以及當(dāng)下如日中天的大語言模型。他們之間是一種完全包括的關(guān)系。
??看上圖時請注意其層次方式和線條。虛線框表示使用的理論基礎(chǔ)。
???：集合中的包含關(guān)系。
??縮寫內(nèi)容：SVM: 支持向量機 。 CNN:卷積神經(jīng)網(wǎng)絡(luò)。RNN : 循環(huán)神經(jīng)網(wǎng)絡(luò)。 LSTM：長短期記憶網(wǎng)絡(luò)。 GAN：生成對抗網(wǎng)絡(luò)。 DQN：深度 Q 網(wǎng)絡(luò)。 GPT：生成式預(yù)訓(xùn)練變換模型。 BERT：雙向編碼器表示的變換模型。 PaLM：路徑語言模型 。 Claude： Claude 模型（沒有特定的翻譯，一般保留其英文名稱）
??連結(jié)線：1.雙實線：技術(shù)繼承關(guān)系。 2.實線：特點和代表 3.虛線：理論基礎(chǔ)
