機(jī)器學(xué)習(xí)系統(tǒng)是訓(xùn)練出來的，而不是按照預(yù)先給定的規(guī)則執(zhí)行的
步驟：輸入大量示例 —> 找到統(tǒng)計(jì)規(guī)則 —> 將任務(wù)自動(dòng)化
而學(xué)習(xí)指的是：尋找更好數(shù)據(jù)表示的自動(dòng)搜索過程
那么深度學(xué)習(xí)的“深度”表示什么？
1.png
通過圖一我們可以看到深度學(xué)習(xí)是從連續(xù)的層中進(jìn)行學(xué)習(xí)，而這些層都是從訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)的。而“深度”就是看層的數(shù)量。
過擬合：機(jī)器學(xué)習(xí)模型在新數(shù)據(jù)上的性能往往比在訓(xùn)練數(shù)據(jù)上要差。對(duì)訓(xùn)練數(shù)據(jù)過度優(yōu)化，最終學(xué)到的表示僅針對(duì)于訓(xùn)練數(shù)據(jù)，無法泛化到訓(xùn)練集之外的數(shù)據(jù)。
張量：其實(shí)就是多維numpy數(shù)組， 當(dāng)前機(jī)器學(xué)習(xí)系統(tǒng)都使用張量作為基本數(shù)據(jù)結(jié)構(gòu)
標(biāo)量（0D張量）：僅包含一個(gè)數(shù)字的張量，軸（階）ndim=0
向量(1D張量)：一維張量。軸（階）ndim=0
矩陣（2D張量）
現(xiàn)實(shí)世界中的數(shù)據(jù)張量
向量數(shù)據(jù)：2D張量。例如人口統(tǒng)計(jì)數(shù)據(jù)集：1000個(gè)人，每個(gè)人年齡、郵編和收入，可以存儲(chǔ)在（1000,3）的2D張量中
時(shí)間序列數(shù)據(jù)或序列數(shù)據(jù)：3D張量。例如記錄股票交易數(shù)據(jù)（250,390,3）可以記錄250天，每天390分鐘交易時(shí)間，每分鐘3個(gè)交易數(shù)據(jù)
圖像：4D張量。圖像通常有三個(gè)維度：高度、寬度、顏色深度。（100,256,256，3）可以表示100張圖片
視頻數(shù)據(jù)：5D張量。例如每秒4幀的60秒視頻，4段這樣的視頻可以表示為（4,240,256,256,3），而以這種float32方式存儲(chǔ)太大，通常被壓縮，如MPEG格式。
梯度優(yōu)化算法：https://blog.csdn.net/v_JULY_v/article/details/81350035
