題目：End-to-end representation learning for Correlation Filter based tracking
來(lái)源：CVPR2017
代碼：https://github.com/bertinetto/cfnet
相關(guān)濾波速度很快，但精度卻沒(méi)有那么高。利用純粹的深度學(xué)習(xí)雖然在精度上很高，但速度上卻顯得有些吃力，一直想著怎么把兩者做個(gè)結(jié)合，達(dá)到跟蹤器超贊的運(yùn)行效果。Luca大神已經(jīng)實(shí)現(xiàn)了這一想法，有code，怪不得這個(gè)領(lǐng)域發(fā)展迅速，大牛就是多，懂理論又知實(shí)踐。
所以有想法一定要趕快做哈！
本文將相關(guān)濾波與深度學(xué)習(xí)相結(jié)合，很新穎，其算法達(dá)到了state-of-the-art的效果。
核心圖：
1. Introduction
深度神經(jīng)網(wǎng)絡(luò)是在CV領(lǐng)域的一個(gè)超強(qiáng)的圖像表示的學(xué)習(xí)工具。遇到的最大的問(wèn)題就是training data的數(shù)量缺少和需要學(xué)習(xí)大量的參數(shù)。可能擁有在線的適應(yīng)網(wǎng)絡(luò)會(huì)對(duì)這一情況有所改善。替代策略是使用在線學(xué)習(xí)方法，如相關(guān)過(guò)濾器。
The?CFis?an?efficient?algorithm?that?learns?to?discriminate?an image patch?from?the?surrounding?patches?by?solving?alarge?ridge?regression?problem?extremely?efficiently。
相關(guān)濾波器離不開快速傅立葉變換，同時(shí)這也是相關(guān)濾波器速度很快的原因。
要是能把CF在線的有效學(xué)習(xí)能力與CNN離線階段的特征判別能力結(jié)合在一起就好了。在之前的工作中，CF與CNN是分開的，CF只用到了預(yù)訓(xùn)練CNN特征的頂層（top），沒(méi)有進(jìn)行這兩種方法的整合?，F(xiàn)如今，在這篇paper中。對(duì)這兩種方法進(jìn)行整合。方法是把CF作為CNN的一個(gè)特別的層。
經(jīng)過(guò)調(diào)查研究發(fā)現(xiàn)，CF并不能針對(duì)足夠深的網(wǎng)絡(luò)提高網(wǎng)絡(luò)的結(jié)果，但對(duì)于擁有幾千個(gè)參數(shù)的輕量級(jí)網(wǎng)絡(luò)效果還是不錯(cuò)的。
2. Related work
CF很流行啊。我們介紹的相關(guān)過(guò)濾器層是相當(dāng)于將解決方案計(jì)算到正則化的去卷積問(wèn)題，而不是與有時(shí)被稱為“反卷積層”的上采樣卷積層相混淆。我們的問(wèn)題有一個(gè)封閉式的解決方案，由于相關(guān)濾波器采用二次正則化，而不是1范數(shù)正則化。
This?paper?propagates?gradients?through?a?conventional?learning?problem?that?is?already?widely?used.
3. Method
方法往往是paper的核心啦，有很多數(shù)學(xué)公式表達(dá)，不過(guò)這也是最有趣的地方。
在介紹CFNet之前，作者先介紹了2個(gè)內(nèi)容：Fully-convolutional?Siamese?networks和Tracking?algorithm。之后又講了相關(guān)濾波器。
各個(gè)章節(jié)總結(jié)如下：
3.1. Fully-convolutional Siamese networks
對(duì)FC-Seamese這個(gè)網(wǎng)絡(luò)中所涉及的核心思想做個(gè)公式描述，說(shuō)了搜索策略的核心思想即為達(dá)到這個(gè)目標(biāo)：The goal is for the maximum value of the response map to correspond to the target location.，隨后列出了最小化誤差的公式。
3.2.?Tracking?algorithm
The network itself only provides a function to measure the similarity of two image patches. To apply this network to object tracking, it is necessary to combine this with a procedure that? describes the logic of the tracker.
原始的FC Siamese網(wǎng)絡(luò)只是簡(jiǎn)單的于每幀比較先前物體的初始化外觀。而現(xiàn)在不一樣了，我們采用了新方法，即每幀搞出一個(gè)新模板，并與之前的模板做結(jié)合。
3.3.?Correlation?Filter?networks
3.4.?Correlation?Filter
We now show how to back-propagate gradients through the Correlation Filter solution efficiently and in closed form via the Fourier domain.
公式看原文！
4. Experiments
實(shí)驗(yàn)很充分。最后證明本文的方法達(dá)到了state-of-the-art results
具體怎么做的，略?？丛陌伞?br>
5. Conclusion
這項(xiàng)工作提出了CFNet可以通過(guò)在線學(xué)習(xí)算法優(yōu)化底層特征表示。這使得建立有效的為循環(huán)方程組的求解而用到的反向傳播圖成為了可能。
