【Sanjeev Arora 】On the ability of neural nets to express distributions 給出了組合Barron 函數(shù)可以...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
【Sanjeev Arora 】On the ability of neural nets to express distributions
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第三課
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第三課 重參數(shù)化 在前饋網(wǎng)絡(luò)的最后一步驟想對(duì)loss 函數(shù)求導(dǎo)數(shù)，但是可能這個(gè)loss也是帶有參數(shù)的， 這時(shí)候?qū)@個(gè)θ求導(dǎo)就比較難，一個(gè)方法是找到一個(gè)無...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第二課機(jī)器學(xué)習(xí)中的優(yōu)化算法 第二課 算法收斂的速度: 序列誤差為 如果復(fù)合下面的關(guān)系，就稱作是Q線性的： 如果r=1，C在0，1之間，那么就是線性。C是0就是超線性，C是1就是次線...
-
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第一課
機(jī)器學(xué)習(xí)中的優(yōu)化算法 第一課 如果一個(gè)人的論文中的formulation不嚴(yán)謹(jǐn)，那么他的理論部分基本可以不看。 優(yōu)化問題的一般formulation：,一般都是凸函數(shù)，如果要...
-
【ZC Lin】Optimization Algorithm Inspired Deep Neural Network Structure Design
這篇文章的目的是揭示優(yōu)化和網(wǎng)絡(luò)設(shè)計(jì)之間的關(guān)系，提出了個(gè)猜想更快的優(yōu)化方法可以inspire更好的網(wǎng)絡(luò)結(jié)構(gòu)。以此我們可以用優(yōu)化的結(jié)構(gòu)去啟發(fā)地生成更多的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。 第一部分...
-
【JF Lu】 Deep Network Approximation for Smooth Functions目標(biāo)是用Relu網(wǎng)絡(luò)去逼近更加光滑的函數(shù)空間，在范數(shù)的意義下。 定理1.1簡(jiǎn)單而言是說：可以用寬度深度的Relu FNN去接近，而且接近誤差是： 這是一個(gè)非漸近的結(jié)果，而且同...
-
Concentration 不等式（一）
因?yàn)槌３Ｐ枰离S機(jī)變量，以及他們的和偏離均值的情況，所以需要一系列集中不等式。 在集中不等式中有兩種思路，一種是矩法，可以得到包括Markov和Chebyshev不等式在內(nèi)...
-
有界隨機(jī)變量是Sub-Gaussian定理：是一個(gè)隨機(jī)變量，而且，設(shè)，，我們證明是一個(gè)次高斯隨機(jī)變量而且有次高斯系數(shù)，也就是說： 證明：我們?cè)O(shè), 容易計(jì)算得到： 其中 （） 引入下面的...
-
Poisson tails估計(jì)
HDP 20,21 利用Poisson極限定理： 并且結(jié)合Chernoff不等式就知道 如果，那么當(dāng)?shù)臅r(shí)候 這個(gè)bound是sharp的，因?yàn)楦鶕?jù)Stirling公式， 均值...
-
Berry-Esseen 中心極限定理逼近誤差估計(jì)
HDP p15 是iid的隨機(jī)變量，并且均值方差,設(shè)， 那么對(duì)任意的N 和實(shí)數(shù) t，都有 （容易推斷出） 其中 同時(shí)這個(gè)誤差是不能縮小的，因?yàn)榭紤]擲硬幣分布，就有
-
寒假數(shù)論講義一：奇偶性
寒假講義：奇偶性 【例題1.1】：能否把前五十個(gè)正整數(shù)分成兩組，使得第一組各個(gè)數(shù)的和等于第二組各個(gè)數(shù)的和？ 【例題1.2】：設(shè)都是1或者-1，求證。 【例題1.3】：一元二次...