最新最全Diffusion Models論文、代碼匯總
1、Diffusion Models擴散模型與深度學習(附Python示例)
這篇文章適合小白入門看，能快速了解diffusion models背后的物理背景、數(shù)學推導、核心思想、代碼實現(xiàn)。
2、擊敗GANs的新生成式模型：score-based model(diffusion model)原理、網(wǎng)絡結構、應用、代碼、實驗、展望
這篇文章適合小白入門，在上一篇文章的基礎上，更加深入討論：會不會是下一個GANs？能否解決目前GANs遇到的問題？和現(xiàn)有的生成式模型相比有哪些優(yōu)點?哪些缺點？目前的網(wǎng)絡結構是怎樣？如何用代碼實現(xiàn)？常用的數(shù)據(jù)集有哪些？常用的評價指標有哪些？能應用到哪些領域？遇到了哪些問題？發(fā)展的瓶頸有哪些？未來的發(fā)展會怎樣？
3、為什么Diffusion Models擴散模型可以稱為Score-based Models？
近兩年diffusion models野蠻生長，出現(xiàn)了很多不同的命名方式：denoising diffusion probabilistic models、score-based generative models、generative diffusion processes、energy-based models (EBMs)等，其實他們核心思想都是一樣的，這篇文章通過討論diffusion models為什么可以稱為分數(shù)匹配模型，能更深入理解擴散模型。
4、條件DDPM：Diffusion model的第三個巔峰之作
DDPM2020年誕生，短短一年的時間，模型上有兩個巨大的改進，其中一個就是condition的引入，最近大部分DDPM相關的論文都會討論這一點，有些文章稱之為latent variable。和當年GAN的發(fā)展類似，CGAN和DCGAN的出現(xiàn)極大程度上促進了GAN的發(fā)揚光大，意義重大。
5、從VAE到Diffusion Models
前面幾篇文章更多的在思考GAN和diffusion model之間的關系，VAE作為最經(jīng)典的生成模型之一，本文從VAE出發(fā)，聊一聊VAE和diffusion model之間的愛恨情仇。
6、DiffuseVAE：完美結合VAE和Diffusion Models
生成式模型的根本任務是捕捉底層的數(shù)據(jù)分布，并學習以無監(jiān)督的方式從數(shù)據(jù)的顯式/隱式分布中生成新的樣本。本文介紹DDPM最新的研究成果DiffuseVAE，解決低維潛在空間上生成樣本質量差、采樣速度慢等問題。
7、為什么Diffusion Models鐘愛U-net結構？
通過前面的文章介紹，大家應該已經(jīng)基本了解擴散模型的特點，細心的讀者會有疑問，為什么現(xiàn)在絕大部分的diffusion models都是U-net結構呢？這個發(fā)源于醫(yī)療分割的網(wǎng)絡結構，為何廣受備受diffusion models生成式的喜愛呢？
8、使用DDPM實現(xiàn)三維點云重建
本文重點討論點云三維重建的相關原理、應用、特殊的處理方法、與傳統(tǒng)的DDPM的區(qū)別和聯(lián)系。
9、2021年度最火Diffusion Models：用于圖像編輯和高質量圖像生成的GLIDE
? 2021年底，馬斯克掌舵的OpenAI又推出重磅作品，基于diffusion models的高質量圖像生成和圖像編輯，短短兩個月在github上收獲了2k個star，要知道DDPM的開山之作開源兩年也才區(qū)區(qū)300個star。這篇博客就要探討一下這個2021年度最火diffusion models。
10、擴散模型Diffusion Models可以看成一種autoencoder自動編碼器嗎？
2019年開創(chuàng)性論文《Generative Modeling by Estimating Gradients of the Data Distribution》發(fā)表后，擴散模型相關論文如雨后春筍一般涌現(xiàn)，其實擴散模型可以看成一種自動編碼器。
11、 Score-based Generative Model：一統(tǒng)DDPM和SMLD兩大生成式模型
2019年宋博士提出了SMLD模型，2020年Jonathan Ho提出了DDPM，這兩大生成式隨即成為頂會寵兒。2021年，宋博士提出了score-based generative model，一統(tǒng)這兩大極為相似的生成式模型。本文在系列文章《為什么diffusion model擴散模型可以稱為score-based models？》的基礎上，探討這三種生成式模型之間的區(qū)別、聯(lián)系、優(yōu)缺點、應用領域等。
12、Diffusion Models和GANs結合
作為Diffusion Models最成功的前輩們：flow based models、VAEs、GANs，最近幾個月已經(jīng)有不少將diffusion models和這些經(jīng)典模型結合的文章，本系列的前文已有介紹。今天介紹的是首次將GANs和diffusion models工作，是一種比較成功的GANs的思路，相同的結合方式迅速流行，給正在做這一方向的小伙伴重要參考與啟示。
13、用Diffusion Models實現(xiàn)image-to-image轉換
diffusion models誕生到現(xiàn)在，很多論文熱衷于把diffusion models帶到自己的領域用于生成，也有不少人醉心于用各種奇技淫巧優(yōu)化采樣過程，以改善diffusion models致命的缺點：生成速度太慢。而Palette的誕生意義不亞于pix2pix GANs、cycleGANs，能夠實現(xiàn)圖像著色、圖像修復、圖像剪裁恢復、圖像解壓縮(超分)等等任務。我們第一次發(fā)現(xiàn)，原來diffusion models不僅僅能用于生成，還能有這么多有趣的應用！
14、基于diffusion models的無監(jiān)督Image-to-Image轉化
上一篇文章介紹了Palette，對標的是pix2pix GANs，能夠實現(xiàn)配對的image域轉化。這篇博客介紹一種DDPM，對標cycleGANs，能夠實現(xiàn)無配對image之間的域轉化，可以輕松完成白天-夜晚轉化、蘋果-橘子轉化、野馬-斑馬轉化、照片去霧、老照片上色、圖像修復、超分辨率重建等任務，并且在理論上第一次(2021年4月)提出類似于cycle diffusion models的結構。
15、Diffusion Models在超分辨率領域的應用
GANs在Super-Resolution超分辨率大顯身手，取得了很多令人興奮的成果。作為最先進的生成式模型DDPM，不僅成功挑戰(zhàn)了這一任務，而且在各方面的性能達到了SOTA。這篇博客就介紹一下diffusion models如何完成超分任務、背后的原理和實現(xiàn)方法。
入門基礎系列文章匯總
有不少訂閱我專欄的讀者問diffusion models很深奧讀不懂，需要先看一些什么知識打下基礎？雖然diffusion models是一個非常前沿的工作，但肯定不是憑空產生的，背后涉及到非常多深度學習的知識，我將從配分函數(shù)、基于能量模型、馬爾科夫鏈蒙特卡洛采樣、得分匹配、比率匹配、降噪得分匹配、橋式采樣、深度玻爾茲曼機等方面，摘取一些經(jīng)典的知識點，供讀者參考。
1、Diffusion Models/Score-based Generative Models背后的深度學習原理(1)：配分函數(shù)
2、Diffusion Models/Score-based Generative Models背后的深度學習原理(2)：基于能量模型和受限玻爾茲曼機
代碼解讀系列
大部分DDPM相關的論文代碼都是基于《Denoising Diffusion Probabilistic Models》和《Diffusion Models Beat GANs on Image Synthesis》貢獻代碼基礎上小改動的。官方的DDPM是tensorflow TPU版本，暫時沒有GPU的版本。本篇文章開始，詳細解讀一下pytorch和tensorflow版本的代碼。
1、Diffusion Models/Score-based Generative Models背后的深度學習原理(1)：配分函數(shù)
2、Diffusion Models/Score-based Generative Models背后的深度學習原理(2)：基于能量模型和受限玻爾茲曼機
代碼解讀系列
大部分DDPM相關的論文代碼都是基于《Denoising Diffusion Probabilistic Models》和《Diffusion Models Beat GANs on Image Synthesis》貢獻代碼基礎上小改動的。官方的DDPM是tensorflow TPU版本，暫時沒有GPU的版本。本篇文章開始，詳細解讀一下pytorch和tensorflow版本的代碼。
1、DDPM代碼詳細解讀(1)：數(shù)據(jù)集準備、超參數(shù)設置、loss設計、關鍵參數(shù)計算
