發(fā)簡信
IP屬地：浙江
-
【Sanjeev Arora 】On the ability of neural nets to express distributions
【Sanjeev Arora 】On the ability of neural nets to express distributions 給...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第三課
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第三課 重參數(shù)化 在前饋網(wǎng)絡(luò)的最后一步驟想對loss 函數(shù)求導(dǎo)數(shù)，但是可能這個loss也是帶有參數(shù)的， 這時候?qū)@個θ求導(dǎo)...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第二課機(jī)器學(xué)習(xí)中的優(yōu)化算法 第二課 算法收斂的速度: 序列誤差為 如果復(fù)合下面的關(guān)系，就稱作是Q線性的： 如果r=1，C在0，1之間，那么就是線性。C...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第一課
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第一課 如果一個人的論文中的formulation不嚴(yán)謹(jǐn)，那么他的理論部分基本可以不看。 優(yōu)化問題的一般formulati...
-
【ZC Lin】Optimization Algorithm Inspired Deep Neural Network Structure Design
這篇文章的目的是揭示優(yōu)化和網(wǎng)絡(luò)設(shè)計之間的關(guān)系，提出了個猜想更快的優(yōu)化方法可以inspire更好的網(wǎng)絡(luò)結(jié)構(gòu)。以此我們可以用優(yōu)化的結(jié)構(gòu)去啟發(fā)地生成更...
-
【JF Lu】 Deep Network Approximation for Smooth Functions目標(biāo)是用Relu網(wǎng)絡(luò)去逼近更加光滑的函數(shù)空間，在范數(shù)的意義下。 定理1.1簡單而言是說：可以用寬度深度的Relu FNN去接近，而且接近誤差是：...
-
Concentration 不等式（一）
因為常常需要知道隨機(jī)變量，以及他們的和偏離均值的情況，所以需要一系列集中不等式。 在集中不等式中有兩種思路，一種是矩法，可以得到包括Markov...
-
有界隨機(jī)變量是Sub-Gaussian定理：是一個隨機(jī)變量，而且，設(shè)，，我們證明是一個次高斯隨機(jī)變量而且有次高斯系數(shù)，也就是說： 證明：我們設(shè), 容易計算得到： 其中 ...
-
Poisson tails估計
HDP 20,21 利用Poisson極限定理： 并且結(jié)合Chernoff不等式就知道 如果，那么當(dāng)?shù)臅r候 這個bound是sharp的，因為根...