Neil Zhu，簡(jiǎn)書(shū)ID Not_GOD，University AI 創(chuàng)始人 & Chief Scientist，致力于推進(jìn)世界人工智能化進(jìn)程。制定并實(shí)施 UAI 中長(zhǎng)期增長(zhǎng)戰(zhàn)略和目標(biāo)，帶領(lǐng)團(tuán)隊(duì)快速成長(zhǎng)為人工智能領(lǐng)域最專(zhuān)業(yè)的力量。
作為行業(yè)領(lǐng)導(dǎo)者，他和UAI一起在2014年創(chuàng)建了TASA（中國(guó)最早的人工智能社團(tuán)）, DL Center（深度學(xué)習(xí)知識(shí)中心全球價(jià)值網(wǎng)絡(luò)），AI growth（行業(yè)智庫(kù)培訓(xùn)）等，為中國(guó)的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分。此外，他還參與或者舉辦過(guò)各類(lèi)國(guó)際性的人工智能峰會(huì)和活動(dòng)，產(chǎn)生了巨大的影響力，書(shū)寫(xiě)了60萬(wàn)字的人工智能精品技術(shù)內(nèi)容，生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門(mén)書(shū)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》，生產(chǎn)的內(nèi)容被大量的專(zhuān)業(yè)垂直公眾號(hào)和媒體轉(zhuǎn)載與連載。曾經(jīng)受邀為國(guó)內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程，均受學(xué)生和老師好評(píng)。
David M. Blei, Alp Kucukelbir, Jon D. McAuliffe
One of the core problems of modern statistics is to approximate difficult-to-compute probability distributions. This problem is especially important in Bayesian statistics, which frames all inference about unknown quantities as a calculation about the posterior. In this paper, we review variational inference (VI), a method from machine learning that approximates probability distributions through optimization. VI has been used in myriad applications and tends to be faster than classical methods, such as Markov chain Monte Carlo sampling. The idea behind VI is to first posit a family of distributions and then to find the member of that family which is close to the target. Closeness is measured by Kullback-Leibler divergence. We review the ideas behind mean-field variational inference, discuss the special case of VI applied to exponential family models, present a full example with a Bayesian mixture of Gaussians, and derive a variant that uses stochastic optimization to scale up to massive data. We discuss modern research in VI and highlight important open problems. VI is powerful, but it is not yet well understood. Our hope in writing this paper is to catalyse statistical research on this widely-used class of algorithms.
現(xiàn)代統(tǒng)計(jì)學(xué)中的一個(gè)核心問(wèn)題就是如何近似非常難計(jì)算的概率分布。這個(gè)問(wèn)題在貝葉斯統(tǒng)計(jì)中尤其重要，因?yàn)樗械奈粗康耐茢嗑褪且粋€(gè)關(guān)于后驗(yàn)分布的計(jì)算。本文，我們回顧變分推斷（VI），一個(gè)來(lái)自機(jī)器學(xué)習(xí)中的通過(guò)優(yōu)化來(lái)近似概率分布的方法。VI 已經(jīng)用在了無(wú)數(shù)應(yīng)用中，并且會(huì)比經(jīng)典方法如MCMC 采樣要快。VI 背后的思想是首先確定一個(gè)分布的族，然后找到這個(gè)族中的最接近目標(biāo)的成員。我們通過(guò) Kullback-Leibler 散度來(lái)衡量分布之間的距離。我們回顧了在 mean-field VI 后的想法，討論了應(yīng)用在 exponential 族模型上的 VI 特殊形式，給出了一個(gè)貝葉斯高斯混合模型的例子，并推導(dǎo)出一個(gè)使用隨機(jī)優(yōu)化方式可以擴(kuò)展到大數(shù)據(jù)場(chǎng)景中的變體。然后討論了當(dāng)前在 VI 中的研究并且點(diǎn)出來(lái)幾個(gè)重要的開(kāi)放問(wèn)題。VI 非常強(qiáng)大，但是仍然存在很多謎題有待解答。我們的希望通過(guò)本文來(lái)推動(dòng)在這類(lèi)問(wèn)題上的統(tǒng)計(jì)學(xué)研究。
[待續(xù)]
