人生苦短我用GAN
首先聲明一下，本教程面向入門吃瓜群眾，大?？梢岳@道，閑話不多說，先方一波廣告。（高級GAN玩法），怎么說，我越來越感覺到人工智能正在迎來生成模型的時(shí)代，以前海量數(shù)據(jù)訓(xùn)練模型的辦法有點(diǎn)揠苗助長，看似效果很好，實(shí)際上機(jī)器什么卵都沒有學(xué)到（至少從遷移性上看缺少一點(diǎn)味道，不過就圖片領(lǐng)域來說另當(dāng)別論，在CV領(lǐng)域監(jiān)督學(xué)習(xí)還是相當(dāng)成功）。
但是問題來了，GAN這么屌這么牛逼，我怎么搞？怎么入門？誰帶我？慌了！
莫慌，50行代碼你就可以成為無監(jiān)督學(xué)習(xí)大牛
我最討厭那些，嘴里一堆算法，算法實(shí)現(xiàn)不出來的人。因?yàn)槲蚁矚g看到結(jié)果啊！尤其是一些教程，就是將論文，雞巴論文獎(jiǎng)那么多有什么用？你碼代碼給我看啊，我不知道數(shù)據(jù)是什么，不知道輸入維度是什么，輸出什么，里面到底發(fā)生了什么變化我怎么學(xué)？這就有點(diǎn)像，典型的在沙漠里教你釣魚，在我看來，論文應(yīng)該是最后才去看的東西。但是問題在于，你要有一個(gè)入門的教程啊。我想這是一個(gè)鴻溝，科研里面，理論和動(dòng)手的鴻溝。
這篇教程就是引路人了。歡迎加入生成模型隊(duì)伍。這個(gè)教程會(huì)一直保持更新，因?yàn)榭萍济刻熳兓媚獪y，同時(shí)我還會(huì)加入很多新內(nèi)容，改進(jìn)一些在以后看來是錯(cuò)誤的說法。
首先，我們廢話不多說了，直接show you the code：
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt
from scipy import stats
def generate_real_data_distribution(n_dim, num_samples):
all_data = []
for i in range(num_samples):
x = np.random.uniform(0, 8, n_dim)
y = stats.lognorm.pdf(x, 0.6)
all_data.append(y)
all_data = np.array(all_data)
print('generated data shape: ', all_data.shape)
return all_data
def batch_inputs(all_data, batch_size=6):
assert isinstance(all_data, np.ndarray), 'all_data must be numpy array'
batch_x = all_data[np.random.randint(all_data.shape[0], size=batch_size)]
return Variable(torch.from_numpy(batch_x).float())
def main():
# 給generator的噪音維數(shù)
n_noise_dim = 30
# 真實(shí)數(shù)據(jù)的維度
n_real_data_dim = 256
num_samples = 666
lr_g = 0.001
lr_d = 0.03
batch_size = 6
epochs = 1000
real_data = generate_real_data_distribution(n_real_data_dim, num_samples=num_samples)
print('sample from real data: \n', real_data[: 10])
g_net = nn.Sequential(
nn.Linear(n_noise_dim, 128),
nn.ReLU(),
nn.Linear(128, n_real_data_dim)
)
d_net = nn.Sequential(
nn.Linear(n_real_data_dim, 128),
nn.ReLU(),
nn.Linear(128, 1),
nn.Sigmoid()
)
opt_d = torch.optim.Adam(d_net.parameters(), lr=lr_d)
opt_g = torch.optim.Adam(g_net.parameters(), lr=lr_g)
for epoch in range(epochs):
for i in range(num_samples // batch_size):
batch_x = batch_inputs(real_data, batch_size)
batch_noise = Variable(torch.randn(batch_size, n_noise_dim))
g_data = g_net(batch_noise)
# 用G判斷兩個(gè)輸出分別多大概率是來自真正的畫家
prob_fake = d_net(g_data)
prob_real = d_net(batch_x)
# 很顯然，mean里面的這部分是一個(gè)負(fù)值，如果想整體loss變小，必須要變成正直，加一個(gè)負(fù)號，否則會(huì)越來越大
d_loss = -torch.mean(torch.log(prob_real) + torch.log(1 - prob_fake))
# 而g的loss要使得discriminator的prob_fake盡可能小，這樣才能騙過它，因此也要加一個(gè)負(fù)號
g_loss = -torch.mean(torch.log(prob_fake))
opt_d.zero_grad()
d_loss.backward(retain_variables=True)
opt_d.step()
opt_g.zero_grad()
g_loss.backward(retain_variables=True)
opt_g.step()
print('Epoch: {}, batch: {}, d_loss: {}, g_loss: {}'.format(epoch, i, d_loss.data.numpy()[0],
g_loss.data.numpy()[0]))
if __name__ == '__main__':
main()
這些代碼，總共，也就是90行，核心代碼50行，基本上，比你寫一個(gè)其他程序都端，什么紅黑算法，什么排序之類的。我個(gè)人比較喜歡簡約，我很多時(shí)候不喜歡太雞巴隆昌的代碼。
直接開始訓(xùn)練吧
這個(gè)GAN很簡單，三部分：
- real data生成，這個(gè)real data我們怎么去模擬呢？注意這里用的數(shù)據(jù)是二維的，不是圖片，圖片是三維的，二維你可以看成是csv，或者是序列，在這里面我們每一行，也就是一個(gè)樣本，是sample自某個(gè)分布的數(shù)據(jù)，這里用的分布式lognorm；
- d_net 和 g_net，這里兩個(gè)net都是非常小，小到爆炸，這如果要是用tensorflow寫就有點(diǎn)蛋疼了，我選擇PyTorch，一目了然；
- loss，loss在GAN中非常重要，是接下來的重點(diǎn)。
OK，一陣復(fù)制粘貼，你就可以訓(xùn)練一個(gè)GAN，這個(gè)GAN用來做什么？就是你隨機(jī)輸入一個(gè)噪音，生成模型將會(huì)生成一個(gè)和lognorm分布一樣的數(shù)據(jù)。也就是說，生成模型學(xué)到了lognrom分布。這能說明什么？神經(jīng)網(wǎng)絡(luò)學(xué)到了概率！用到圖片里面就是，他知道哪個(gè)顏色快可能是什么東西，這也是現(xiàn)在的CycleGAN， DiscoGAN的原理。
我吃飯去了
未完待續(xù)...
來了
繼續(xù)剛才的，好像我寫的文章沒有人看啊，傷感。自己寫自己看吧，哎，我騷味改了一下代碼，loss函數(shù)部分，之前的寫錯(cuò)了，我偷一張圖把。
這個(gè)是公式，原始GAN論文里面給的公式，但是毫無疑問，正如很多人說的那樣，GAN很容易漂移：
Epoch: 47, batch: 66, d_loss: 0.7026655673980713, g_loss: 2.0336945056915283
Epoch: 47, batch: 67, d_loss: 0.41225430369377136, g_loss: 2.1994106769561768
Epoch: 47, batch: 68, d_loss: 0.674636960029602, g_loss: 1.5774009227752686
Epoch: 47, batch: 69, d_loss: 0.5779278874397278, g_loss: 2.2797725200653076
Epoch: 47, batch: 70, d_loss: 0.4029145836830139, g_loss: 2.200833559036255
Epoch: 47, batch: 71, d_loss: 0.7264774441719055, g_loss: 1.5658557415008545
Epoch: 47, batch: 72, d_loss: 0.46858924627304077, g_loss: 2.355680227279663
Epoch: 47, batch: 73, d_loss: 0.6716371774673462, g_loss: 1.7127293348312378
Epoch: 47, batch: 74, d_loss: 0.7237206101417542, g_loss: 1.4458404779434204
Epoch: 47, batch: 75, d_loss: 0.9684935212135315, g_loss: 1.943861961364746
Epoch: 47, batch: 76, d_loss: 0.4705852270126343, g_loss: 2.439894199371338
Epoch: 47, batch: 77, d_loss: 0.4989328980445862, g_loss: 1.5290288925170898
Epoch: 47, batch: 78, d_loss: 0.44530192017555237, g_loss: 2.9254989624023438
Epoch: 47, batch: 79, d_loss: 0.6329593658447266, g_loss: 1.7527830600738525
Epoch: 47, batch: 80, d_loss: 0.42348209023475647, g_loss: 1.856258749961853
Epoch: 47, batch: 81, d_loss: 0.5396828651428223, g_loss: 2.268836498260498
Epoch: 47, batch: 82, d_loss: 0.9727945923805237, g_loss: 1.0528483390808105
Epoch: 47, batch: 83, d_loss: 0.7551510334014893, g_loss: 1.508225917816162
Epoch: 47, batch: 84, d_loss: 2.4204068183898926, g_loss: 1.5375216007232666
Epoch: 47, batch: 85, d_loss: 1.517686128616333, g_loss: 0.6334291100502014
Epoch: 47, batch: 86, d_loss: inf, g_loss: 0.7990849614143372
Epoch: 47, batch: 87, d_loss: nan, g_loss: nan
Epoch: 47, batch: 88, d_loss: nan, g_loss: nan
Epoch: 47, batch: 89, d_loss: nan, g_loss: nan
Epoch: 47, batch: 90, d_loss: nan, g_loss: nan
Epoch: 47, batch: 91, d_loss: nan, g_loss: nan
你如果train一下的話會(huì)發(fā)現(xiàn)，到一定程度就會(huì)nan，這個(gè)nan我就無法理解了，按道理來說，從loss來看我們定義的來自以log，如果為無窮那么應(yīng)該是log(0)了，但是我們的discriminator出來的函數(shù)是sigmoid啊，sigmoid不可能為0，只看是0-1且不包括閉區(qū)間。這個(gè)問題比較玄學(xué)。
既然nan的話，我也不深究是因?yàn)樯读?，總之這個(gè)重點(diǎn)在于loss，因?yàn)楹竺鍳AN的變種基本上都是在loss的訓(xùn)練形式上。
GAN 生成mnist
我們現(xiàn)在玩一下mnist把。
交流
我見了一個(gè)GAN群，加我微信讓我拉進(jìn)來。jintianiloveu, 順便下載一個(gè)我做的app吧，內(nèi)側(cè)中，專門用來看美女圖片的，你懂得。。傳送門
