23 Non-Autoregressive Sequence Genera
image.png
image.png
同一個(gè)input，輸出不同的
00：10：
總結(jié)
image.png
GAN用在text上還沒很好應(yīng)用，應(yīng)為 text是discriminate的
00：14：25
解決方案：
image.png
image.png
image.png
image.png
image.png
要做Levenshtein時(shí)候要用到expert
image.png
image.png
image.png
image.png
學(xué)習(xí)完這一節(jié)視頻后，感覺還是不知所以然。
查blog學(xué)習(xí)吧：
總結(jié)如下：
1.Auto-regressive(AR，自回歸模型) 時(shí)間序列模型
數(shù)學(xué)表達(dá)式
image.png
可以看出，t時(shí)刻的度量值都是依賴前面t-1個(gè)時(shí)刻的線性組合
NLP中RNNs和Transformer都是AR模型
Non-autoregresseive (非自回歸模型)
機(jī)器翻譯中使用NAT打破原來生成時(shí)的串行順序
緩解原來獨(dú)立性過強(qiáng)的問題，引入隱變量z,得到：
image.png
隱變量需要保存關(guān)于目標(biāo)序列的全部信息，才能解碼整個(gè)目標(biāo)序列。因此，隱變量的概率分布必須有足夠的復(fù)雜度
