無監(jiān)督學(xué)習(xí)的舉例：1. K-means，2. PCA主成分分析（Principal Component Analysis，降維Dimensionality reduction），3. Autoencoders(Feature learning) 4. Density estimation
對于輸入數(shù)據(jù)，有一個重構(gòu)的數(shù)據(jù)作為輸出。
有監(jiān)督學(xué)習(xí)VS無監(jiān)督學(xué)習(xí)
生成模型
已知訓(xùn)練數(shù)據(jù)，從相同的分布中生成新的樣本。
生成模型主要分為兩類：一類是顯式密度模型，另一類是隱式密度模型
1. PixelRNN and PixelCNN
顯式密度模型：
PixelRNN，從角開始生成像素，依賴于之前的像素，用RNN或LSTM建模的。如下，缺點(diǎn)為序列生成是很慢的。
PixelCNN，也是從角開始生成，依賴于之前的像素，用CNN建模的模型。如下，利用其周圍的信息，輸出是每個像素的softmax loss。與PixelRNN的訓(xùn)練速度一樣，但是在生成的時候還是很慢。
2. Variational Autoencoders (VAE)
Autoencoders是一個無監(jiān)督學(xué)習(xí)的方法，可以對無標(biāo)注的訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，學(xué)習(xí)低緯的特征表示。包含兩部分，encoder是將輸入映射到特征z，通常ecoder可以是一個線性層加非線性激活函數(shù)，也可以是一個全連接層，也可以是ReLU CNN。? 特征z的維數(shù)通常比x小，因為降維操作。為什么需要降維呢？z應(yīng)該代表x中的重要特征，并且這些特征可以用于reconstruct original data。decoder與encoder的組成相似，ReLU CNN(upconv)，全連接，線性層加非線性激活函數(shù)。損失函數(shù)使用L2
問題：Intractability
問題在于，對于每個z無法計算這個積分：
解決方法：定義一個附加的encoder網(wǎng)絡(luò)來近似p(z|x)。
3. GAN
不是通過顯式的密度方程來做生成，而是利用基于游戲理論的方法，通過2-player游戲來訓(xùn)練分布。包含生成器和判別器
目標(biāo)函數(shù)為：
三種方法的總結(jié)：
