交互分割實(shí)戰(zhàn)知識(shí)筆記2

深度學(xué)習(xí)中訓(xùn)練網(wǎng)絡(luò)，必定要考慮的問題之一就是損失函數(shù)如何選取。近年來分割中Focal Loss等十分火熱，但是很多項(xiàng)目使用的仍然是基礎(chǔ)的Dice，CrossEntropy等基礎(chǔ)損失函數(shù)，效果相差也并不驚人，可見傳統(tǒng)的Loss當(dāng)中仍然有許多值得學(xué)習(xí)的地方。

本文主要針對分割分類問題中的Loss函數(shù)進(jìn)行一個(gè)handbook式的分析，對于我所了解的不同Loss進(jìn)行特點(diǎn)說明，重點(diǎn)研究實(shí)際計(jì)算方式，以求直觀地理解他們的含義。

實(shí)驗(yàn)基于的版本是當(dāng)前的stable版本pytorch-1.7.1

計(jì)算公式細(xì)節(jié)

總的loss計(jì)算公式都滿足 $L(x,y)=func\{l_1, l_2, ..., l_N\}^\top$ ,所以下文的公式只寫其中的 $l_n$ 的計(jì)算部分。

nn.L1Loss

就是MAE(mean absolute error)，計(jì)算公式為
$l_n = |x_n-y_n|$
有mean和sum兩種模式選，通過reduction控制。

例子

target = torch.tensor([1,1,0,1,0]).float()
output = torch.tensor([1,0,0,0,0]).float()

loss_fn = torch.nn.L1Loss(reduction='mean')
loss = loss_fn(output, target)
print(loss)

loss_fn = torch.nn.L1Loss(reduction='sum')
loss = loss_fn(output, target)
print(loss)

結(jié)果

tensor(0.4000)
tensor(2.)

nn.MSELoss

如其名，mean squared error，也就是L2正則項(xiàng)，計(jì)算公式為
$l_n = (x_n-y_n)^2$
有mean和sum兩種模式選，通過reduction控制。

例子

target = torch.tensor([1,0,0,1,0]).float()
output = torch.tensor([1,2,0,0,0]).float()

loss_fn = torch.nn.MSELoss(reduction='mean')
loss = loss_fn(output, target)
print(loss)

loss_fn = torch.nn.MSELoss(reduction='sum')
loss = loss_fn(output, target)
print(loss)

結(jié)果

tensor(1.)
tensor(5.)

nn.SmoothL1Loss

對L1做了一點(diǎn)平滑，比起MSELoss，對于outlier更加不敏感。
$l_{n}=\left\{\begin{array}{ll} 0.5\left(x_{n}-y_{n}\right)^{2} / \text {beta}, & \text { if }\left|x_{n}-y_{n}\right|<\text {beta} \\ \left|x_{n}-y_{n}\right|-0.5 * \text {beta}, & \text { otherwise } \end{array}\right.$
在Fast-RCNN中使用以避免梯度爆炸。

nn.NLLLoss

negative log likelihood loss, 用于訓(xùn)練n類分類器,
對于不平衡數(shù)據(jù)集，可以給類別添加weight，計(jì)算公式為
$l_n = -w_{y_n}x_{n,y_n}, -w_c=weight[c]\cdot1$

預(yù)期輸入形狀 $(N,C)和(N)$ ，其中 $N$ 為batch大小，C為類別數(shù)；

計(jì)算每個(gè)case的target對應(yīng)類別的概率的負(fù)值，然后求取平均/和，一般與一個(gè)LogSoftMax連用從而獲得對數(shù)概率。

例子

target = torch.tensor([1,0,3])
output = torch.randn(3,5)
print(output)

loss_fn = torch.nn.NLLLoss()
loss = loss_fn(output, target)
print(loss)

結(jié)果

tensor([[ 0.1684, -0.2378, -0.5189,  1.5398, -1.1828],
        [-0.4370,  0.3035,  1.3718, -0.2823, -0.4714],
        [ 0.2863, -0.3008,  0.8902,  0.4902, -0.4487]])
tensor(0.0615)

結(jié)果 $0.0615 \times 3 = -(-0.2378)-(-0.4370)-(0.4902)$

nn.CrossEntropyLoss

經(jīng)典Loss, 計(jì)算公式為:

$weight[class](-\log \left(\frac {\exp (x[\text {class}])}{\sum_{j} \exp (x[j])}\right))=weight[class](-x[\text {class}]+\log \left(\sum_{j} \exp (x[j])\right))$
相當(dāng)于先將輸出值通過softmax映射到每個(gè)值在 $[0,1]$ ，和為1的空間上。
希望正確的class對應(yīng)的loss越小越好，所以對 $\left(\frac {\exp (x[\text {class}])}{\sum_{j} \exp (x[j])}\right)$ 求取 $-log()$ , 把 $[0,1]$ 映射到 $[0,+\infty]$ 上，正確項(xiàng)的概率占比越大，整體損失就越小。

torch里的CrossEntropyLoss(x) 等價(jià)于 NLLLoss(LogSoftmax(x))

預(yù)期輸入未normalize過的score，輸入形狀和NLL一樣，為 $(N,C)和(N)$

例子1

target = torch.tensor([1,0,3])
output = torch.randn(3,5)
print(output)

loss_fn = torch.nn.CrossEntropyLoss()
loss = loss_fn(output, target)
print(loss)

結(jié)果

tensor([[-0.6324,  0.1134,  0.0695, -1.6937, -0.3634],
        [ 1.2044,  2.0876, -1.6558, -0.4869, -0.8516],
        [-0.7290, -0.4808,  0.8488, -0.3595, -1.3598]])
tensor(1.4465)

例子2-用numpy實(shí)現(xiàn)的CrossEntropyLoss

target = torch.tensor([1,0,3])
output = torch.randn(3,5)
print(output)

result = np.array([0.0, 0.0, 0.0])
for ix in range(3):
    log_sum = 0.0
    for iy in range(5):
        if(iy==target[ix]): result[ix] += -output[ix, iy]
        log_sum += exp(output[ix, iy])
    result[ix] += log(log_sum)
print(result)
print(np.mean(result))

loss_fn = torch.nn.CrossEntropyLoss()
loss = loss_fn(output, target)
print(loss)

結(jié)果

tensor([[ 1.6021,  0.5762, -1.9105, -1.0844, -0.0256],
        [ 1.0483,  0.8033,  1.1037, -1.2296,  1.2662],
        [ 0.7592, -2.6041, -1.6092, -0.2643,  1.2362]])
[1.52833433 1.43165374 2.15453246]
1.704840179536648
tensor(1.7048)

nn.BCELoss 以及 nn.BCEWithLogitsLoss

Binary Cross Entropy，公式如下：
$l_{n}=-w_{n}\left[y_{n} \cdot \log x_{n}+\left(1-y_{n}\right) \cdot \log \left(1-x_{n}\right)\right]$
雙向的交叉熵，相當(dāng)于交叉熵公式的二分類簡化版，可以用于分類不互斥的多分類任務(wù)。

BCELoss需要先手動(dòng)對輸入sigmoid，然后每一個(gè)位置如果分類是1則加 $-log(exp(x))$ 否則加 $-log(exp(1-x))$ ，最后求取平均。

BCEWithLogitsLoss則不需要sigmoid，其他都完全一樣。

例子

target = torch.tensor([[1,0,1],[0,1,1]]).float()
raw_output = torch.randn(2,3)
output = torch.sigmoid(raw_output)
print(output)

result = np.zeros((2,3), dtype=np.float)
for ix in range(2):
    for iy in range(3):
        if(target[ix, iy]==1): 
            result[ix, iy] += -log(output[ix, iy])
        elif(target[ix, iy]==0): 
            result[ix, iy] += -log(1-output[ix, iy])

print(result)
print(np.mean(result))

loss_fn = torch.nn.BCELoss(reduction='none')
print(loss_fn(output, target))
loss_fn = torch.nn.BCELoss(reduction='mean')
print(loss_fn(output, target))
loss_fn = torch.nn.BCEWithLogitsLoss(reduction='mean')
print(loss_fn(raw_output, target))

結(jié)果

tensor([[0.3370, 0.2463, 0.4499],
        [0.2124, 0.3505, 0.7828]])
[[1.08756434 0.28280236 0.79866814]
 [0.23878274 1.04849163 0.24483089]]
0.6168566833989618
tensor([[1.0876, 0.2828, 0.7987],
        [0.2388, 1.0485, 0.2448]])
tensor(0.6169)
tensor(0.6169)

nn.MultiLabelMarginLoss

multi-class multi-classification hinge loss
與將問題轉(zhuǎn)換為2分類的BCELoss不同，這個(gè)loss就是為了不互斥的多分類(多類別多分類)設(shè)計(jì)的，
$\operatorname{loss}(x, y)=\sum_{i j} \frac {\max (0,1-(x[y[j]]-x[i]))}{\mathrm{x} \cdot \operatorname{size}(0)}$

HingeLoss的常見形式為
$l_n = \mathrm{max}(0, 1-x_ny_n)$
其中 $x_n$ 為預(yù)測， $y_n$ 為真實(shí)值。
如果 $x_n$ 和 $y_n(+1/-1)$ 符號(hào)一致，則 $|x_n|$ 越大，loss越小，到0為止
如果符號(hào)不一樣，則loss必大于1，且 $|x_n|$ 越大，loss越大。

總的來說，這種Loss函數(shù)訓(xùn)練的目標(biāo)是擬合一堆 $\pm1$ 標(biāo)簽，使得輸出最后根據(jù)正負(fù)號(hào)確定結(jié)果。

nn.MultiLabelSoftMarginLoss

$\operatorname{loss}(x, y)=-\frac {1}{C} * \sum_{i} y[i] * \log \left((1+\exp (-x[i]))^{-1}\right)+(1-y[i]) * \log \left(\frac{\exp (-x[i])}{(1+\exp (-x[i]))}\right)$
$(1+exp(-x[i]))^-1$ 的值域?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=(0%2C1)" alt="(0,1)" mathimg="1">, 計(jì)算方式類似于BCE，就是把 $(1+exp(-x[i]))^-1$ 填到了BCE的 $x_n$ 當(dāng)中。文檔里說適用于多分類（互斥）的問題當(dāng)中，這個(gè)式子是基于最大熵計(jì)算的。
BCELoss公式如下
$l_{n}=-w_{n}\left[y_{n} \cdot \log x_{n}+\left(1-y_{n}\right) \cdot \log \left(1-x_{n}\right)\right]$

nn.MultiMarginLoss

公式如下：
$\operatorname{loss}(x, y)=\frac {\left.\sum_{i} \max (0, \operatorname{margin}-x[y]+x[i])\right)^{p}}{\operatorname{x} \cdot \operatorname{size}(0)}$
和MultiLabelMarginLoss公式非常像，仔細(xì)一看發(fā)現(xiàn)就是相同函數(shù)的不同接口，只是nn.MultiMarginLoss不支持多標(biāo)簽多分類，所以輸入的y_true應(yīng)當(dāng)為 $[0,3,5,2]$ 這種，直接給出多分類的類別，格式為 $(N,C)$ 和 $(N)$ 。

nn.HingeEmbeddingLoss

公式如下：
$l_{n}=\left\{\begin{array}{ll} x_{n}, & \text { if } y_{n}=1 \\ \max \left\{0, \Delta-x_{n}\right\}, & \text { if } y_{n}=-1 \end{array}\right.$
同nn.MultiLabelMarginLoss的標(biāo)準(zhǔn)HingeLoss形式類似，希望擬合的標(biāo)簽為 $\pm 1$ ，其中 $\Delta$ 是指定的margin，默認(rèn)為1.0； $x_n$ 實(shí)際上是 $|x_n-y_n|$ 。

常用于非線性的embedding或者半監(jiān)督中。

nn.PoissonNLLLoss

NLL的泊松分布版本，輸入形狀變成了 $(N,*)$ 和 $(N,*)$ ,
公式為
$target～Poisson(input)$
$loss(input,target)=input?target?log(input)+log(target!)$

$target$ 被認(rèn)為符合 $\lambda=input$ 的泊松分布，沒太用過這種Loss，網(wǎng)上也沒啥相關(guān)的。

nn.KLDivLoss

KL散度，也就是相對熵，用來比較兩個(gè)分布之間的信息損失，
計(jì)算公式為：
$l_n = y_n \cdot (\mathrm{log} y_n-\mathrm{log} x_n)$
此處補(bǔ)充，普通的信息熵計(jì)算公式為：
$y_n \cdot - \mathrm{log} y_n$
交叉熵計(jì)算公式為：
$y_n \cdot - \mathrm{log} x_n$
很顯然，KL散度直接計(jì)算兩個(gè)分布間的自信息(-log項(xiàng)）差距在y分布上的期望，不能直接理解為距離(因?yàn)镵LDiv(x,y)!=KLDiv(y,x))，可以理解為用x去擬合y所損失的信息量

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

pytorch中的損失函數(shù)總結(jié)——分類和分割相關(guān)

pytorch中的損失函數(shù)總結(jié)——分類和分割相關(guān)

交互分割實(shí)戰(zhàn)知識(shí)筆記2

目錄

計(jì)算公式細(xì)節(jié)

nn.L1Loss

nn.MSELoss

nn.SmoothL1Loss

nn.NLLLoss

nn.CrossEntropyLoss

nn.BCELoss 以及 nn.BCEWithLogitsLoss

nn.MultiLabelMarginLoss

nn.MultiLabelSoftMarginLoss

nn.MultiMarginLoss

nn.HingeEmbeddingLoss

nn.PoissonNLLLoss

nn.KLDivLoss

要點(diǎn)總結(jié)

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

pytorch中的損失函數(shù)總結(jié)——分類和分割相關(guān)

交互分割實(shí)戰(zhàn)知識(shí)筆記2

目錄

計(jì)算公式細(xì)節(jié)

nn.L1Loss

nn.MSELoss

nn.SmoothL1Loss

nn.NLLLoss

nn.CrossEntropyLoss

nn.BCELoss 以及 nn.BCEWithLogitsLoss

nn.MultiLabelMarginLoss

nn.MultiLabelSoftMarginLoss

nn.MultiMarginLoss

nn.HingeEmbeddingLoss

nn.PoissonNLLLoss

nn.KLDivLoss

要點(diǎn)總結(jié)

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av