轉(zhuǎn)載知乎：https://www.zhihu.com/question/43673341/answer/257382587
（1）iteration：表示1次迭代（也叫training step），每次迭代更新1次網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)；
（2）batch-size：1次迭代所使用的樣本量；
（3）epoch：1個epoch表示過了1遍訓(xùn)練集中的所有樣本。
值得注意的是，在深度學(xué)習(xí)領(lǐng)域中，常用帶mini-batch的隨機(jī)梯度下降算法（Stochastic Gradient Descent, SGD）訓(xùn)練深層結(jié)構(gòu)，它有一個好處就是并不需要遍歷全部的樣本，當(dāng)數(shù)據(jù)量非常大時十分有效。此時，可根據(jù)實際問題來定義epoch，例如定義10000次迭代為1個epoch，若每次迭代的batch-size設(shè)為256，那么1個epoch相當(dāng)于過了2560000個訓(xùn)練樣本。

image.png