提出了CCNN（Constrained CNN）：一種具有嶄新的代價(jià)方程來優(yōu)化卷積網(wǎng)絡(luò)。有任意線性約束（arbitrary linear constraints）于像素標(biāo)簽的結(jié)構(gòu)化輸出空間（structured output space of pixel labels）。卷積網(wǎng)絡(luò)非凸性讓直接優(yōu)化約束很困難，本文亮點(diǎn)就是對ground truth 標(biāo)簽做了一個(gè)分布模型，讓深度網(wǎng)絡(luò)的輸出與這個(gè)潛伏模型越接近越好。最終的目標(biāo)是一個(gè)關(guān)于線性模型的兩面凸問題（a biconvex problem for linear models）。對于深度非線性模型，變成了一個(gè)交替優(yōu)化的問題（可以用SGD解決）
Preliminaries
普通方法如下：
定義一張圖的像素級分類為
共有m類
CNN模型的概率分布為
每一個(gè)邊界代表一個(gè)softmax概率：
標(biāo)準(zhǔn)的語義分割要求有完整的groundtruth信息，然而我們沒有。
Constrained Optimization
讓
簡寫成
CCNN的優(yōu)化可以寫成：
在輸出分布上強(qiáng)化了k個(gè)獨(dú)立的線性約束
許多QI滿足這個(gè)約束，然而所有網(wǎng)絡(luò)都用一組向量參數(shù)θ，因此將不同QI輸出空間鏈接到了一起，這樣導(dǎo)致輸出同時(shí)與輸入圖片和弱標(biāo)簽一致
作者繼續(xù)簡化它的寫法。。。：
接下來說了直接優(yōu)化很困難，可以用拉格朗日對偶，但是空間耗費(fèi)很多。因此作者介紹了一種概率分布p(x) over X label ?的語義分割 。作者約束P(X)在合適的約束目標(biāo)，同時(shí)移除輸出Q的約束，讓P,Q有相同的概率分布，通過最小化KL-divergence. ：
這相當(dāng)于 P(X)可以是一個(gè)獨(dú)立分布
對于一個(gè)固定的θ，去優(yōu)化P；對于一個(gè)固定的P，去優(yōu)化θ
上述問題可以用標(biāo)準(zhǔn)交叉熵?fù)p失，SGD優(yōu)化
4.1. Latent distribution optimization
首先優(yōu)化P,固定輸出 ? ?（用對偶方程）
目標(biāo)方程是凸的而且有線性約束，滿足Slaters條件
Slater 條件是：
[我還不能理解怎么滿足了。。。仿佛CS229在說對偶講過，記不得了]
只有支持向量才對應(yīng)不為0的拉格朗日乘子
反正本文是個(gè)強(qiáng)對偶問題
對偶方程是凹的，可以用projected gradient ascent優(yōu)化（投影梯度上升）
對偶方程的梯度是
因?yàn)橥队疤荻壬仙惴ㄔ黾铀屑s束的對偶變量是不被滿足的，因此分布p會(huì)去調(diào)整，讓它逐漸滿足約束。
4.2. SGD
對一個(gè)固定的分布P，問題3可轉(zhuǎn)化為標(biāo)準(zhǔn)的交叉熵?fù)p失
算法總圖
4.3 Constraints with slack variable
這一部分主要是在上部分基礎(chǔ)上引入了一個(gè)松弛變量，這個(gè)松弛變量用hinge loss來規(guī)范。
5. Constraints for Weak Semantic Segmentation
