3D 目標(biāo)檢測(cè)
UniMODE：統(tǒng)一的單目 3D 對(duì)象檢測(cè)
實(shí)現(xiàn)包括室內(nèi)和室外場(chǎng)景的統(tǒng)一單目 3D 對(duì)象檢測(cè)在機(jī)器人導(dǎo)航等應(yīng)用中具有重要意義。然而，涉及數(shù)據(jù)的各種場(chǎng)景來(lái)訓(xùn)練模型會(huì)帶來(lái)挑戰(zhàn)，因?yàn)樗鼈兙哂酗@著不同的特性，例如不同的幾何特性和異構(gòu)的域分布。為了解決這些挑戰(zhàn)，我們構(gòu)建了一種基于鳥瞰圖（BEV）檢測(cè)范式的檢測(cè)器。
LaneCPP：使用物理優(yōu)先級(jí)的連續(xù) 3D 車道檢測(cè)
單目 3D 車道檢測(cè)已成為自動(dòng)駕駛領(lǐng)域的一個(gè)基本問(wèn)題，自動(dòng)駕駛包括尋找路面和定位車道標(biāo)線的任務(wù)。
MonoDiff：使用擴(kuò)散模型的單目 3D 對(duì)象檢測(cè)和姿勢(shì)估計(jì)
由于缺乏 3D 感知帶來(lái)的高度不確定性，從單視圖像中進(jìn)行 3D 目標(biāo)檢測(cè)和姿態(tài)估計(jì)是具有挑戰(zhàn)性的。作為一種解決方案，最近的單目 3D 檢測(cè)方法利用諸如立體圖像對(duì)和 LiDAR 點(diǎn)云等額外的模式來(lái)增強(qiáng)圖像特征，但代價(jià)是額外的注釋成本。我們建議使用擴(kuò)散模型來(lái)學(xué)習(xí)單目 3D 檢測(cè)的有效表示，而不需要額外的模式或訓(xùn)練數(shù)據(jù)。我們提出了一個(gè)新的框架 MonoDiff，它使用反向擴(kuò)散過(guò)程來(lái)估計(jì) 3D 邊界框和方向。
跨數(shù)據(jù)集 3D 目標(biāo)檢測(cè)的無(wú)監(jiān)督域自適應(yīng)偽標(biāo)簽精煉
最近的自訓(xùn)練技術(shù)在用于 3D 對(duì)象檢測(cè)的無(wú)監(jiān)督域自適應(yīng)(3D UDA)方面顯示出顯著的改進(jìn)。這些技術(shù)通常選擇偽標(biāo)簽，即 3D 框來(lái)監(jiān)督目標(biāo)域的模型。然而，這種選擇過(guò)程不可避免地引入了不可靠的 3D 框，其中 3D 點(diǎn)不能被確定地分配為前景或背景。以前的技術(shù)通過(guò)將這些框重新加權(quán)為偽標(biāo)簽來(lái)緩解這一問(wèn)題，但這些框仍然會(huì)干擾訓(xùn)練過(guò)程。為了解決這一問(wèn)題，本文提出了一種新的偽標(biāo)簽精煉框架。
VSRD：用于弱監(jiān)督3D目標(biāo)檢測(cè)的實(shí)例感知體積輪廓繪制
單目 3D 對(duì)象檢測(cè)由于其在單目深度估計(jì)中固有的不適定性，在 3D 場(chǎng)景理解中構(gòu)成了重大挑戰(zhàn)?，F(xiàn)有的方法在很大程度上依賴于使用豐富的 3D 標(biāo)簽的監(jiān)督學(xué)習(xí)，這些標(biāo)簽通常是通過(guò)在激光雷達(dá)點(diǎn)云上進(jìn)行昂貴且勞動(dòng)密集的注釋來(lái)獲得的。為了解決這個(gè)問(wèn)題，我們提出了一種新的弱監(jiān)督 3D 目標(biāo)檢測(cè)框架，稱為 VSRD（檢測(cè)的體積輪廓繪制），用于訓(xùn)練沒(méi)有任何 3D 監(jiān)督但只有弱 2D 監(jiān)督的 3D 目標(biāo)檢測(cè)器。
海鳥：具有骰子丟失的鳥瞰圖分割改進(jìn)了大型物體的單目 3D 檢測(cè)
單目 3D 檢測(cè)器在汽車和較小物體上實(shí)現(xiàn)了卓越的性能。然而，它們?cè)谳^大物體上的性能下降會(huì)導(dǎo)致致命的事故。一些研究者將這種失敗歸因于訓(xùn)練數(shù)據(jù)稀缺或大型物體對(duì)感受野的要求。在這篇文章中，我們強(qiáng)調(diào)了現(xiàn)有檢測(cè)器對(duì)大目標(biāo)的泛化問(wèn)題。我們發(fā)現(xiàn)，即使在幾乎平衡的數(shù)據(jù)集上，現(xiàn)有的檢測(cè)器也很難推廣到大型物體。我們認(rèn)為，失敗的原因是深度回歸損失對(duì)較大物體噪聲的敏感性。
以人為中心的 3D 場(chǎng)景理解最近因其對(duì)機(jī)器人的關(guān)鍵影響而引起越來(lái)越多的關(guān)注。然而，以人為中心的現(xiàn)實(shí)生活場(chǎng)景極其多樣和復(fù)雜，人類有著復(fù)雜的動(dòng)作和互動(dòng)。由于標(biāo)記數(shù)據(jù)有限，監(jiān)督方法很難推廣到阻礙實(shí)際應(yīng)用的一般場(chǎng)景。模仿人類智能，我們通過(guò)將知識(shí)從合成的人類實(shí)例轉(zhuǎn)移到真實(shí)場(chǎng)景、設(shè)計(jì)了一種無(wú)監(jiān)督的 3D 檢測(cè)方法，用于以人為中心的場(chǎng)景。
用于半監(jiān)督單目3D目標(biāo)檢測(cè)的解耦偽標(biāo)記
我們深入研究了半監(jiān)督單目 3D 對(duì)象檢測(cè)（SSM3OD）的偽標(biāo)記，并發(fā)現(xiàn)了兩個(gè)主要問(wèn)題：3D 和 2D 屬性的預(yù)測(cè)質(zhì)量之間的偏差，以及偽標(biāo)記產(chǎn)生的深度監(jiān)督的噪聲趨勢(shì)，導(dǎo)致與其他可靠監(jiān)督形式的顯著優(yōu)化沖突。為了解決這些問(wèn)題，我們?yōu)?SSM3OD 引入了一種新的解耦偽標(biāo)記（DPL）方法。
單目 3D 檢測(cè)(M3D)的目的是從單視圖像中精確定位 3D 目標(biāo)，這通常需要對(duì)3D 檢測(cè)框進(jìn)行費(fèi)力的標(biāo)注。弱監(jiān)督 M3D 最近被研究，它們通過(guò)利用現(xiàn)有的許多 2D 標(biāo)注來(lái)避免 3D 標(biāo)注過(guò)程，但它通常需要額外的訓(xùn)練數(shù)據(jù)，如 LiDAR 點(diǎn)云或多視角圖像，這大大降低了其在各種應(yīng)用中的適用性和可用性。我們提出了 SKD-WM3D，這是一個(gè)弱監(jiān)督的單目 3D 檢測(cè)框架，它利用深度信息來(lái)實(shí)現(xiàn)只包含單視圖的M3D，而不需要任何 3D 注釋或其他訓(xùn)練數(shù)據(jù)。
RCBEVDet：鳥瞰視圖中雷達(dá)-相機(jī)融合用于 3D 目標(biāo)檢測(cè)
3D 目標(biāo)檢測(cè)是自動(dòng)駕駛的關(guān)鍵任務(wù)之一。為了在實(shí)際應(yīng)用中降低成本，人們提出了用低成本的多視角攝像機(jī)來(lái)代替擴(kuò)展的 LiDAR 傳感器。然而，僅僅依靠攝像機(jī)很難實(shí)現(xiàn)高精度、高魯棒性的 3D 目標(biāo)檢測(cè)。解決這一問(wèn)題的一個(gè)有效方案是將多視角攝像機(jī)與經(jīng)濟(jì)型毫米波雷達(dá)傳感器相結(jié)合，實(shí)現(xiàn)更可靠的多模態(tài) 3D 目標(biāo)檢測(cè)。本文介紹了一種雷達(dá)與攝像機(jī)融合的鳥瞰三維目標(biāo)檢測(cè)方法 RCBEVDet。
A-Teacher：用于 3D 半監(jiān)督目標(biāo)檢測(cè)的非對(duì)稱網(wǎng)絡(luò)
提出了第一個(gè)在線非對(duì)稱半監(jiān)督框架 A-Teacher，用于基于 LiDAR 的 3D 目標(biāo)檢測(cè)。我們的動(dòng)機(jī)源于這樣的觀察：1)現(xiàn)有的對(duì)稱師生方法具有簡(jiǎn)單的特點(diǎn)，但由于需要相同的模型結(jié)構(gòu)和輸入數(shù)據(jù)格式，阻礙了教師和學(xué)生之間的蒸餾性能。2)不同構(gòu)造復(fù)雜教師模型的離線非對(duì)稱方法可以生成更精確的偽標(biāo)簽，但對(duì)教師和學(xué)生模型的聯(lián)合優(yōu)化具有挑戰(zhàn)性。因此，在本文中，我們?cè)O(shè)計(jì)了一條不同于傳統(tǒng)范式的路徑，它可以利用一名強(qiáng)大的教師的能力，同時(shí)保留在線教師模型更新的優(yōu)勢(shì)。
MonoCD：具有互補(bǔ)深度的單目 3D 對(duì)象檢測(cè)
單目3D目標(biāo)檢測(cè)由于其能夠以較低的成本從單幅圖像中準(zhǔn)確地獲得目標(biāo)3D位置而引起了廣泛的關(guān)注。由于 2D 到 3D 映射的不適定性，深度估計(jì)是單目 3D目標(biāo)檢測(cè)的一個(gè)重要但具有挑戰(zhàn)性的子任務(wù)。許多方法利用物體高度和關(guān)鍵點(diǎn)等多個(gè)局部深度信息，然后將物體深度估計(jì)表示為多個(gè)深度預(yù)測(cè)的集合，以緩解單一深度信息的不足。然而，現(xiàn)有多個(gè)深度的誤差往往具有相同的符號(hào)，這阻礙了它們之間的相互抵消，并限制了組合深度的整體精度。為了緩解這一問(wèn)題，我們建議通過(guò)兩種新穎的設(shè)計(jì)來(lái)增加深度的互補(bǔ)性。
BEVSpread：在基于視覺(jué)的路邊 3D 目標(biāo)檢測(cè)中進(jìn)行鳥瞰圖表示的擴(kuò)展體素池
基于視覺(jué)的路邊3D目標(biāo)檢測(cè)由于其在減少盲區(qū)、擴(kuò)大感知范圍等方面的固有優(yōu)勢(shì)，在自動(dòng)駕駛領(lǐng)域受到越來(lái)越多的關(guān)注。而以往的工作主要集中在 2D 到 3D 映射的深度或高度的精確估計(jì)上，而忽略了體素池化過(guò)程中的位置逼近誤差。受此啟發(fā)，我們提出了一種新穎的體素合并策略來(lái)減少這種誤差，稱為 BEVSspend。
用于多視圖 3D 目標(biāo)檢測(cè)的多視圖專注上下文化
在基于查詢的多視圖 3D(MV3D)目標(biāo)檢測(cè)中，提出了一種簡(jiǎn)單而有效的改進(jìn) 2D 到 3D 特征提升的方法–多視圖注意力上下文(MvACon)。盡管在基于查詢的 MV3D 對(duì)象檢測(cè)領(lǐng)域見(jiàn)證了顯著的進(jìn)步，但現(xiàn)有技術(shù)由于計(jì)算成本高而在密集的基于注意力的提升中缺乏利用高分辨率 2D 特征，或者在稀疏的基于注意力的提升中缺乏對(duì) 3D 查詢的不夠密集的基礎(chǔ)到多尺度 2D 特征。我們提出的 MvACon 使用了一種具有代表性的密集但計(jì)算稀疏的關(guān)注特征上下文化方案一石二鳥，該方案與特定的 2D 到 3D 特征提升方法無(wú)關(guān)。
CVPR 2024論文合集PDF版
由于判斷依據(jù)的差異，這篇博客可能無(wú)法全面地囊括您需要的論文。
下面的資料中收錄并翻譯了CVPR 2024所有論文的題目與摘要，它為您掃清了語(yǔ)言障礙，讓您能夠充分地利用碎片時(shí)間、隨時(shí)隨地跟蹤計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域最前沿的研究。
CVPR 2024 收錄所有論文題目和題目的合集：https://mbd.pub/o/bread/ZpeYmplt
CVPR 2024 收錄所有論文題目的合集：https://mbd.pub/o/bread/ZpeYmphy
小樣本目標(biāo)檢測(cè)
基于基礎(chǔ)模型的小樣本目標(biāo)檢測(cè).
小樣本目標(biāo)檢測(cè)（FSOD）旨在檢測(cè)只有幾個(gè)訓(xùn)練例子的目標(biāo)。視覺(jué)特征提取和查詢支持相似性學(xué)習(xí)是兩個(gè)關(guān)鍵組成部分?，F(xiàn)有的工作通常是基于 ImageNet 預(yù)訓(xùn)練的視覺(jué)骨干進(jìn)行開發(fā)的，并為小樣本學(xué)習(xí)設(shè)計(jì)復(fù)雜的度量學(xué)習(xí)網(wǎng)絡(luò)，但精度仍然較差。在這項(xiàng)工作中，我們研究了使用現(xiàn)代基礎(chǔ)模型的小樣本目標(biāo)檢測(cè)。
分布外（OOD）檢測(cè)旨在通過(guò)在輸入樣本顯著偏離訓(xùn)練分布（分布中）時(shí)觸發(fā)警報(bào)來(lái)解決神經(jīng)網(wǎng)絡(luò)的過(guò)度置信度預(yù)測(cè)，這表明輸出可能不可靠。
CORES：基于卷積響應(yīng)的分布外檢測(cè)分?jǐn)?shù)
深度神經(jīng)網(wǎng)絡(luò)（DNN）在遇到分布外（OOD）樣本時(shí)往往表現(xiàn)出過(guò)度自信，這在現(xiàn)實(shí)世界的應(yīng)用中帶來(lái)了重大挑戰(zhàn)。
房間里的一只吵鬧的大象：您的分布外檢測(cè)器對(duì)標(biāo)記噪音是否穩(wěn)??？
檢測(cè)不熟悉或意外圖像的能力對(duì)于計(jì)算機(jī)視覺(jué)系統(tǒng)的安全部署至關(guān)重要。在分類的背景下，檢測(cè)模型訓(xùn)練域之外的圖像的任務(wù)稱為分布外(OOD)檢測(cè)。雖然人們對(duì)開發(fā)后自組織 OOD 檢測(cè)方法的研究興趣越來(lái)越大，但對(duì)于這些方法在底層分類器沒(méi)有在干凈、精心挑選的數(shù)據(jù)集上進(jìn)行訓(xùn)練時(shí)如何執(zhí)行的討論相對(duì)較少。在這項(xiàng)工作中，我們?cè)?更現(xiàn)實(shí)的)場(chǎng)景中更仔細(xì)地研究了 20 種最先進(jìn)的 OOD 檢測(cè)方法，其中用于訓(xùn)練底層分類器的標(biāo)簽是不可靠的(例如，眾包標(biāo)簽或網(wǎng)絡(luò)抓取的標(biāo)簽)。
用于小樣本分布外檢測(cè)的類似 ID 的提示學(xué)習(xí)
分布外(OOD)檢測(cè)方法通常利用輔助離群點(diǎn)來(lái)訓(xùn)練識(shí)別 OOD 樣本的模型，特別是從輔助離群點(diǎn)數(shù)據(jù)集中發(fā)現(xiàn)具有挑戰(zhàn)性的離群點(diǎn)來(lái)改進(jìn) OOD 檢測(cè)。然而，在有效區(qū)分與分布內(nèi)(ID)數(shù)據(jù)非常相似的最具挑戰(zhàn)性的 OOD 樣本(即類似 ID 的樣本)方面，它們可能仍然面臨限制。為此，我們提出了一種新穎的 OOD 檢測(cè)框架，該框架利用 ID 樣本的鄰近空間中的 CLIP 來(lái)發(fā)現(xiàn)類似 ID 的離群點(diǎn)，從而幫助識(shí)別這些最具挑戰(zhàn)性的 OOD 樣本。
YolOOD：利用目標(biāo)檢測(cè)概念進(jìn)行多標(biāo)簽分發(fā)外檢測(cè)
由于分布外(OOD)檢測(cè)在已部署系統(tǒng)中的重要性，近年來(lái)引起了機(jī)器學(xué)習(xí)研究界的廣泛關(guān)注。以往的研究大多集中在多類分類任務(wù)中 OOD 樣本的檢測(cè)。然而，在多標(biāo)簽分類任務(wù)中的 OOD 檢測(cè)，一個(gè)更常見(jiàn)的真實(shí)世界用例，仍然是一個(gè)未被探索的領(lǐng)域。在本研究中，我們提出了一種利用目標(biāo)檢測(cè)領(lǐng)域的概念來(lái)進(jìn)行多標(biāo)簽分類任務(wù)中的 OOD 檢測(cè)的方法 YolOOD。
用于分布外檢測(cè)的辨別性驅(qū)動(dòng)通道選擇
分布外(OOD)檢測(cè)對(duì)于在開放世界環(huán)境中部署機(jī)器學(xué)習(xí)模型至關(guān)重要。基于激活的方法是 OOD 檢測(cè)中的關(guān)鍵方法，致力于減輕對(duì) OOD 數(shù)據(jù)的過(guò)度自信預(yù)測(cè)。這些技術(shù)糾正了異常激活，提高了分布內(nèi)(ID)數(shù)據(jù)和 OOD 數(shù)據(jù)之間的可區(qū)分性。然而，它們默認(rèn)假設(shè)每個(gè)通道都是 OOD 檢測(cè)和糾正每個(gè)通道中的異常激活所必需的。經(jīng)驗(yàn)證據(jù)表明，不同的信道在 OOD 檢測(cè)中存在著顯著的差異，丟棄部分通道可以大大提高 OOD 檢測(cè)的性能。
改進(jìn)單域廣義目標(biāo)檢測(cè)：關(guān)注多元化和對(duì)齊
在這項(xiàng)工作中，我們解決了用于目標(biāo)檢測(cè)的域泛化問(wèn)題，特別是在只有一個(gè)源域可用的情況下。我們提出了一種有效的方法，包括兩個(gè)關(guān)鍵步驟：源域的多樣化和基于類預(yù)測(cè)置信度和局部化的檢測(cè)對(duì)齊。
用于開放式詞匯目標(biāo)檢測(cè)的內(nèi)置檢測(cè)器中區(qū)域詞對(duì)齊的探索
開放式詞匯目標(biāo)檢測(cè)旨在檢測(cè)獨(dú)立于訓(xùn)練過(guò)程中使用的基本類別的新類別。大多數(shù)現(xiàn)代方法都堅(jiān)持從大規(guī)模多模態(tài)語(yǔ)料庫(kù)中學(xué)習(xí)視覺(jué)語(yǔ)言空間，然后將所獲得的知識(shí)轉(zhuǎn)移到現(xiàn)成的檢測(cè)器，如 Faster RCNN。然而，在知識(shí)轉(zhuǎn)移過(guò)程中，由于領(lǐng)域差距阻礙了對(duì)新類別的泛化能力，信息可能會(huì)衰減或破壞。為了緩解這一困境，我們?cè)诒疚闹刑岢隽艘粋€(gè)新的框架，名為 BIND，代表 Bulit in 檢測(cè)器，以消除對(duì)模塊更換或知識(shí)轉(zhuǎn)移到現(xiàn)成檢測(cè)器的需求。
SHiNee：開放詞匯對(duì)象檢測(cè)的語(yǔ)義層次結(jié)構(gòu) Nexus
開放詞匯表對(duì)象檢測(cè)(OVOD)將檢測(cè)轉(zhuǎn)變?yōu)橐环N語(yǔ)言制導(dǎo)的任務(wù)，允許用戶在推理過(guò)程中自由定義他們感興趣的類詞匯。然而，我們的初步調(diào)查表明，現(xiàn)有的Ovod 檢測(cè)器在處理跨不同語(yǔ)義粒度的詞匯表時(shí)表現(xiàn)出顯著的可變性，這給現(xiàn)實(shí)世界的部署帶來(lái)了擔(dān)憂。為此，我們引入了語(yǔ)義層次 Nexus(SISH)，這是一種使用來(lái)自類層次的語(yǔ)義知識(shí)的新型分類器。
生成增強(qiáng)的負(fù)值以訓(xùn)練基于數(shù)據(jù)的目標(biāo)檢測(cè)器
用辨別性目標(biāo)函數(shù)訓(xùn)練這種模型已被證明是成功的，但需要良好的正樣本和負(fù)樣本。然而，自由形式的性質(zhì)和對(duì)象描述的開放詞匯使得否定的空間非常大。以前的工作是隨機(jī)抽樣底片或使用基于規(guī)則的技術(shù)來(lái)構(gòu)建底片。相反，我們建議利用現(xiàn)代生成模型中內(nèi)置的大量知識(shí)來(lái)自動(dòng)構(gòu)建與原始數(shù)據(jù)更相關(guān)的負(fù)片。
DetCLIPv3：邁向多功能生成開放詞匯對(duì)象檢測(cè)
現(xiàn)有的開放詞匯表對(duì)象檢測(cè)器通常需要用戶提供一組預(yù)定義的類別，這大大限制了他們的應(yīng)用場(chǎng)景。在本文中，我們介紹了一種高性能的檢測(cè)器，它不僅擅長(zhǎng)于開放詞匯表的對(duì)象檢測(cè)，而且還擅長(zhǎng)為被檢測(cè)的對(duì)象生成分層標(biāo)簽。
開放世界目標(biāo)檢測(cè)的目標(biāo)是識(shí)別不可見(jiàn)類別的物體，并在提供其注釋后逐步識(shí)別它們。與僅限于預(yù)定義類別的傳統(tǒng)范式不同，這種設(shè)置承諾了一種使用類不可知信息來(lái)估計(jì)客觀性的連續(xù)且可概括的方法。然而，實(shí)現(xiàn)客觀性和類信息之間的這種去相關(guān)性被證明是具有挑戰(zhàn)性的。在沒(méi)有明確考慮的情況下，現(xiàn)有的方法通常對(duì)未知對(duì)象的召回率較低，并且會(huì)將它們錯(cuò)誤地分類到已知的類中。為了解決這個(gè)問(wèn)題，我們?cè)跈z測(cè)過(guò)程中利用了三個(gè)級(jí)別的正交性。
溫度調(diào)節(jié) Detection Transformer
提出了一種新的開放詞匯檢測(cè)框架。我們的框架使用圖像級(jí)標(biāo)簽和詳細(xì)的檢測(cè)注釋(如果可用)。我們的框架分三個(gè)步驟進(jìn)行。
抓取檢測(cè)
通過(guò)領(lǐng)域先驗(yàn)知識(shí)推廣 6-DoF 抓取檢測(cè)
本文重點(diǎn)研究了 6-DOF 抓取檢測(cè)方法的泛化能力。雖然基于學(xué)習(xí)的抓取檢測(cè)方法可以利用從訓(xùn)練集學(xué)習(xí)的抓取分布來(lái)預(yù)測(cè)不可見(jiàn)對(duì)象的抓取姿勢(shì)，但當(dāng)遇到形狀和結(jié)構(gòu)不同的對(duì)象時(shí)，它們的性能往往會(huì)顯著下降。為了增強(qiáng)抓取檢測(cè)方法的泛化能力，我們?nèi)诤狭藱C(jī)器人抓取的領(lǐng)域先驗(yàn)知識(shí)，使其能夠更好地適應(yīng)形狀和結(jié)構(gòu)差異較大的對(duì)象。
抓握檢測(cè)是各種工業(yè)應(yīng)用中一個(gè)持久而復(fù)雜的挑戰(zhàn)。最近，已經(jīng)提出了許多方法和數(shù)據(jù)集來(lái)解決抓取檢測(cè)問(wèn)題。然而，他們中的大多數(shù)人并不認(rèn)為使用自然語(yǔ)言作為檢測(cè)抓握姿勢(shì)的條件。在本文中，我們介紹了一個(gè)新的語(yǔ)言驅(qū)動(dòng)的抓取檢測(cè)數(shù)據(jù)集“抓取任何東西++”，該數(shù)據(jù)集具有 3M 個(gè)對(duì)象上的 1M 個(gè)樣本和超過(guò) 10M 的抓取指令。我們利用基礎(chǔ)模型創(chuàng)建了一個(gè)具有相應(yīng)圖像和抓取提示的大規(guī)模場(chǎng)景語(yǔ)料庫(kù)。我們將語(yǔ)言驅(qū)動(dòng)的抓取檢測(cè)任務(wù)視為一個(gè)條件生成問(wèn)題。借鑒擴(kuò)散模型在生成任務(wù)中的成功，并考慮到語(yǔ)言在這項(xiàng)任務(wù)中起著至關(guān)重要的作用，我們提出了一種新的基于擴(kuò)散模型的語(yǔ)言驅(qū)動(dòng)的抓取檢測(cè)方法。
RadSimReal：通過(guò)模擬彌補(bǔ)雷達(dá)目標(biāo)檢測(cè)中合成數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的差距
利用神經(jīng)網(wǎng)絡(luò)對(duì)雷達(dá)圖像中的目標(biāo)進(jìn)行檢測(cè)，在提高自主駕駛方面顯示出巨大的潛力。然而，從真實(shí)雷達(dá)圖像中獲取對(duì)訓(xùn)練這些網(wǎng)絡(luò)至關(guān)重要的注釋數(shù)據(jù)集是具有挑戰(zhàn)性的，特別是在雷達(dá)性能優(yōu)越的遠(yuǎn)程探測(cè)和不利天氣和照明條件的情況下。為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了 RadSimReal，這是一種創(chuàng)新的物理雷達(dá)模擬，能夠生成合成雷達(dá)圖像，并附帶各種雷達(dá)類型和環(huán)境條件的注釋，所有這些都不需要實(shí)際的數(shù)據(jù)收集。
其他
CAT：利用類間動(dòng)力學(xué)進(jìn)行域自適應(yīng)目標(biāo)檢測(cè)
域自適應(yīng)目標(biāo)檢測(cè)旨在使檢測(cè)模型適應(yīng)注釋數(shù)據(jù)不可用的域。
CrossKD：用于目標(biāo)檢測(cè)的十字頭知識(shí)提取
知識(shí)提?。↘D）已被證明是一種有效的學(xué)習(xí)緊湊目標(biāo)檢測(cè)器的模型壓縮技術(shù)?，F(xiàn)有的最先進(jìn)的目標(biāo)檢測(cè) KD 方法大多基于特征模仿。在本文中，我們提出了一種通用而有效的預(yù)測(cè)模擬蒸餾方案，稱為 CrossKD。
SDDGR：用于類增量目標(biāo)檢測(cè)的基于穩(wěn)定擴(kuò)散的深度生成重放
在類增量學(xué)習(xí)（CIL）領(lǐng)域，隨著生成模型的不斷改進(jìn)，生成重放作為一種減輕災(zāi)難性遺忘的方法變得越來(lái)越突出。
面向可擴(kuò)展的三維異常檢測(cè)和定位：基于三維異常合成的基準(zhǔn)和自監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)
近年來(lái)，三維異常檢測(cè)這一涉及細(xì)粒度幾何判別的關(guān)鍵問(wèn)題越來(lái)越受到關(guān)注。然而，缺乏豐富的真實(shí)三維異常數(shù)據(jù)限制了當(dāng)前模型的可擴(kuò)展性。
Endow SAM with Keen Eyes：用于視頻偽裝目標(biāo)檢測(cè)的時(shí)空提示學(xué)習(xí)
分割一切模型（SAM）是一種即時(shí)驅(qū)動(dòng)的基礎(chǔ)模型，在自然圖像分割中表現(xiàn)出了顯著的性能。然而，它在視頻偽裝對(duì)象檢測(cè)（VCOD）中的應(yīng)用遇到了挑戰(zhàn)，主要源于被忽視的時(shí)間-空間關(guān)聯(lián)以及用戶提供的難以用肉眼辨別的偽裝對(duì)象提示
的不可靠性。為了解決上述問(wèn)題，我們賦予 SAM 敏銳的洞察力，并提出了時(shí)空提示 SAM（TSP-SAM），這是一種通過(guò)巧妙的提示學(xué)習(xí)方案為 VCOD 量身定制的新方法。
異常檢測(cè)是工業(yè)場(chǎng)景中一項(xiàng)具有挑戰(zhàn)性的計(jì)算機(jī)視覺(jué)任務(wù)。深度學(xué)習(xí)的進(jìn)步不斷革新基于視覺(jué)的異常檢測(cè)方法，在監(jiān)督和自監(jiān)督異常檢測(cè)方面都取得了長(zhǎng)足的進(jìn)展。常用的流水線是通過(guò)使用基于距離的損失函數(shù)約束特征嵌入來(lái)優(yōu)化模型。然而，這些方法在歐氏空間中有效，并且不能很好地利用非歐氏空間中的數(shù)據(jù)。在本文中，我們首次探索了非歐氏空間的代表雙曲空間中的異常檢測(cè)任務(wù)，并提出了一種雙曲
異常檢測(cè)（ HypAD）方法。
CLIP BEVFormer：利用Ground Truth流增強(qiáng)基于多視圖圖像的 BEV 檢測(cè)器
自動(dòng)駕駛是計(jì)算機(jī)視覺(jué)中塑造交通未來(lái)的一個(gè)關(guān)鍵領(lǐng)域。在這種范式中，系統(tǒng)的主干在解釋復(fù)雜環(huán)境方面發(fā)揮著至關(guān)重要的作用。然而，一個(gè)值得注意的挑戰(zhàn)是，在鳥瞰圖元素方面缺乏明確的監(jiān)督。為了解決這一限制，我們引入了 CLIP BEV，這是一種利用對(duì)比學(xué)習(xí)技術(shù)的力量來(lái)增強(qiáng)具有真實(shí)信息流的多視圖圖像衍生 BEV主干的新方法。
基于多粒度時(shí)空表示學(xué)習(xí)的多尺度視頻異常檢測(cè)
視頻異常檢測(cè)的最新進(jìn)展表明，外觀和運(yùn)動(dòng)特征在區(qū)分異常模式和正常模式方面起著至關(guān)重要的作用。然而，我們注意到，異常的空間尺度的影響被忽略了。許多異常事件發(fā)生在有限的局部區(qū)域和嚴(yán)重的背景噪聲干擾了異常變化的學(xué)習(xí)。同時(shí)，大多數(shù)現(xiàn)有的方法都受到粗粒度建模方法的限制，這些方法不足以學(xué)習(xí)高度判別特征來(lái)區(qū)分小規(guī)模異常和正常模式之間的細(xì)微差異。為此，本文通過(guò)多粒度時(shí)空表示學(xué)習(xí)來(lái)解決多尺度視頻異常檢測(cè)問(wèn)題。
弱監(jiān)督視頻異常檢測(cè)的規(guī)范性引導(dǎo)文本提示
弱監(jiān)督視頻異常檢測(cè)（WSVAD）是一項(xiàng)具有挑戰(zhàn)性的任務(wù)?；谌鯓?biāo)簽生成細(xì)粒度偽標(biāo)簽，然后對(duì)分類器進(jìn)行自訓(xùn)練是目前一種很有前途的解決方案。然而，由于現(xiàn)有方法僅使用 RGB 視覺(jué)模態(tài)，并且忽略了類別文本信息的利用，從而限制了更準(zhǔn)確的偽標(biāo)簽的生成，并影響了自訓(xùn)練的性能。受本文基于事件描述的手動(dòng)標(biāo)記過(guò)程的啟發(fā)，我們提出了一種新的基于文本提示和規(guī)范性引導(dǎo)的 WSVAD 偽標(biāo)記生成和自訓(xùn)練框架。我們的想法是轉(zhuǎn)移對(duì)比語(yǔ)言圖像預(yù)訓(xùn)練（CLIP）模型的豐富的語(yǔ)言視覺(jué)知識(shí)，用于對(duì)齊視頻事件描述文本和相應(yīng)的視頻幀，以生成偽標(biāo)簽。
用于開放世界檢測(cè)的具有合成字幕的雙曲線學(xué)習(xí)
開放世界檢測(cè)帶來(lái)了重大挑戰(zhàn)，因?yàn)樗枰褂媚繕?biāo)類別標(biāo)簽或自由格式文本來(lái)檢測(cè)任何對(duì)象?，F(xiàn)有的相關(guān)工作通常使用大規(guī)模的手動(dòng)注釋字幕數(shù)據(jù)集進(jìn)行訓(xùn)練，這些數(shù)據(jù)集的收集成本極高。相反，我們建議從視覺(jué)語(yǔ)言模型（VLM）中轉(zhuǎn)移知識(shí)，以自動(dòng)豐富開放詞匯描述。
復(fù)雜工業(yè)圖像的監(jiān)督異常檢測(cè)
工業(yè)生產(chǎn)線上的自動(dòng)化目視檢查對(duì)于提高各個(gè)行業(yè)的產(chǎn)品質(zhì)量至關(guān)重要。異常檢測(cè)（AD）方法是實(shí)現(xiàn)這一目的的強(qiáng)大工具。然而，現(xiàn)有的公共數(shù)據(jù)集主要由沒(méi)有異常的圖像組成，這限制了 AD 方法在生產(chǎn)環(huán)境中的實(shí)際應(yīng)用。為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了Valeo 異常數(shù)據(jù)集（VAD），這是一個(gè)新穎的真實(shí)世界工業(yè)數(shù)據(jù)集，包括 5000 張圖像，包括 20 多個(gè)子類中 2000 個(gè)具有挑戰(zhàn)性的真實(shí)缺陷實(shí)例。
改進(jìn)激光雷達(dá)視覺(jué)基礎(chǔ)模型提取的三大支柱
自監(jiān)督圖像主干可以用于非常有效地處理復(fù)雜的 2D 任務(wù)（例如語(yǔ)義分割對(duì)象發(fā)現(xiàn)），并且很少或沒(méi)有下游監(jiān)督。理想情況下，激光雷達(dá)的 3D 主干應(yīng)該能夠在提取這些強(qiáng)大的 2D 特征后繼承這些特性。基于自動(dòng)駕駛數(shù)據(jù)的圖像到激光雷達(dá)的
最新提取方法顯示出了良好的結(jié)果，這要?dú)w功于不斷改進(jìn)的提取方法。然而，當(dāng)通過(guò)線性探測(cè)來(lái)測(cè)量提取特征與完全監(jiān)督特征的質(zhì)量時(shí)，我們?nèi)匀蛔⒁獾骄薮蟮男阅懿罹唷?/p>
用于多標(biāo)簽時(shí)間動(dòng)作檢測(cè)的雙 DETR
時(shí)間動(dòng)作檢測(cè)（TAD）旨在識(shí)別未修剪視頻中的動(dòng)作邊界和相應(yīng)的類別。受DETR 在對(duì)象檢測(cè)中的成功啟發(fā)，幾種方法將基于查詢的框架應(yīng)用于 TAD 任務(wù)。然而，這些方法主要遵循 DETR 來(lái)預(yù)測(cè)實(shí)例級(jí)別的動(dòng)作（即通過(guò)其中心點(diǎn)來(lái)識(shí)別每個(gè)動(dòng)作），從而導(dǎo)致次優(yōu)邊界定位。為了解決這個(gè)問(wèn)題，我們提出了一種新的基于雙層查詢的 TAD 框架，即 DualDETR，用于從實(shí)例級(jí)和邊界級(jí)檢測(cè)動(dòng)作。
時(shí)間動(dòng)作檢測(cè)模型對(duì)抗時(shí)間腐蝕的魯棒性基準(zhǔn)測(cè)試
時(shí)間動(dòng)作檢測(cè)（TAD）旨在定位長(zhǎng)期未修剪視頻中的動(dòng)作位置和識(shí)別動(dòng)作類別。盡管許多方法已經(jīng)取得了有希望的結(jié)果，但它們的魯棒性還沒(méi)有得到徹底的研究。在實(shí)踐中，我們觀察到視頻中的時(shí)間信息偶爾會(huì)被破壞，例如幀丟失或模糊。有趣的是，即使只有一幀受到影響，現(xiàn)有的方法也經(jīng)常會(huì)導(dǎo)致性能顯著下降。為了正式評(píng)估魯棒性，我們建立了兩個(gè)時(shí)間損壞魯棒性基準(zhǔn)，即 THUMOS14-C 和 ActivityNet-v1.3-C。在本文中，我們廣泛分析了七種領(lǐng)先的 TAD 方法的魯棒性，并獲得了一些有趣的發(fā)現(xiàn)。
學(xué)習(xí)分布外檢測(cè)的可轉(zhuǎn)移負(fù)提示
現(xiàn)有的即時(shí)學(xué)習(xí)方法在分布外（OOD）檢測(cè)中顯示出一定的能力，但在其訓(xùn)練中目標(biāo)數(shù)據(jù)集中缺乏 OOD 圖像可能導(dǎo)致 OOD 圖像和分布內(nèi)（ID）類別之間的不匹配，從而導(dǎo)致高的假陽(yáng)性率。為了解決這個(gè)問(wèn)題，我們引入了一種新的 OOD檢測(cè)方法，稱為“NegPrompt”，以學(xué)習(xí)一組負(fù)提示，每個(gè)負(fù)提示表示給定類標(biāo)簽的負(fù)內(nèi)涵，用于劃定 ID 和 OOD 圖像之間的邊界。
在不斷變化的測(cè)試領(lǐng)域中，對(duì)象檢測(cè)器應(yīng)該如何以及何時(shí)更新？
眾所周知，當(dāng)深度學(xué)習(xí)模型在測(cè)試時(shí)遇到分布變化時(shí)，其性能會(huì)惡化。已經(jīng)提出了測(cè)試時(shí)間自適應(yīng)（TTA）算法來(lái)在線調(diào)整模型，同時(shí)推斷測(cè)試數(shù)據(jù)。然而，現(xiàn)有的研究主要集中在通過(guò)優(yōu)化批處理規(guī)范化層或分類頭的分類任務(wù)上，但這種方法限制了其對(duì)各種模型架構(gòu)（如 Transformers）的適用性，并使其難以應(yīng)用于其他任務(wù)（如對(duì)象檢測(cè)）。在本文中，我們提出了一種新的在線自適應(yīng)方法，用于在不斷變化的測(cè)試域中進(jìn)行對(duì)象檢測(cè)，考慮到要更新模型的哪一部分、如何更新以及何時(shí)執(zhí)行更新。
CosalPure：從組圖像中學(xué)習(xí)概念用于魯棒共顯著性檢測(cè)
共同顯著對(duì)象檢測(cè)（CoSOD）旨在識(shí)別給定圖像組中的共同和顯著（通常在前景中）區(qū)域。盡管取得了重大進(jìn)展，但最先進(jìn)的 CoSOD 很容易受到一些對(duì)抗性擾動(dòng)的影響，導(dǎo)致精度大幅下降。對(duì)抗性擾動(dòng)可以誤導(dǎo) CoSOD，但不會(huì)改變共同顯著對(duì)象的高級(jí)語(yǔ)義信息（例如概念）。在本文中，我們提出了一種新的魯棒性增強(qiáng)框架，首先基于輸入組圖學(xué)習(xí)共同顯著對(duì)象的概念，然后利用這一概念來(lái)純化對(duì)抗性擾動(dòng)，這些擾動(dòng)隨后被饋送到 CoSOD 以進(jìn)行魯棒性增強(qiáng)。
GLOW：針對(duì)目標(biāo)檢測(cè)的全局布局感知攻擊
敵意攻擊的目的是擾亂圖像，使預(yù)測(cè)器輸出錯(cuò)誤的結(jié)果。由于結(jié)構(gòu)化攻擊的研究有限，對(duì)自然多目標(biāo)場(chǎng)景進(jìn)行一致性檢查是對(duì)抗傳統(tǒng)對(duì)手攻擊的一種實(shí)用方法。更多想要的攻擊應(yīng)該能夠通過(guò)這樣的一致性檢查來(lái)愚弄防御。因此，我們提出了第一種方法 GLOW，它通過(guò)生成全局布局感知的對(duì)抗性攻擊來(lái)應(yīng)對(duì)各種攻擊請(qǐng)求，其中明確地建立了分類布局約束和幾何布局約束。
FakeInVersion：學(xué)習(xí)通過(guò)倒置穩(wěn)定擴(kuò)散從看不見(jiàn)的文本到圖像模型中檢測(cè)圖像
由于 GenAI 系統(tǒng)被濫用的可能性很高，檢測(cè)合成圖像的任務(wù)最近引起了研究界的極大興趣。不幸的是，隨著新的高保真文本到圖像模型以令人眼花繚亂的速度發(fā)展，現(xiàn)有的圖像空間探測(cè)器很快就被淘汰了。在這項(xiàng)工作中，我們提出了一種新的合成圖像檢測(cè)器，它使用了通過(guò)對(duì)開源的預(yù)先訓(xùn)練的穩(wěn)定擴(kuò)散模型進(jìn)行倒置而獲得的特征。
盡管近年來(lái)開發(fā)了有效的 Deepfake 檢測(cè)模型，但最近的研究表明，這些模型會(huì)導(dǎo)致種族和性別等人口群體之間不公平的表現(xiàn)差異。這可能導(dǎo)致特定群體面臨不公平的目標(biāo)或被排除在檢測(cè)之外，可能允許錯(cuò)誤分類的深度假貨操縱公眾輿論，破壞對(duì)該模型的信任。解決這一問(wèn)題的現(xiàn)有方法是提供公平損失函數(shù)。該算法對(duì)域內(nèi)評(píng)估具有較好的公平性，但對(duì)跨域測(cè)試不能保持公平性。這凸顯了公平泛化在打擊深度
假貨中的重要意義。在這項(xiàng)工作中，我們提出了一種方法，通過(guò)同時(shí)考慮特征損失和優(yōu)化方面來(lái)解決 Deepfake 檢測(cè)中的公平性泛化問(wèn)題。
通過(guò)潛在空間增強(qiáng)超越偽造特定性，實(shí)現(xiàn)可推廣的 Deepfake 檢測(cè)
當(dāng)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的分布不匹配時(shí)，深偽檢測(cè)面臨著嚴(yán)重的泛化障礙，性能下降。一種被廣泛接受的解釋是，這些探測(cè)器傾向于過(guò)度適應(yīng)特定于偽造物的東西，而不是學(xué)習(xí)廣泛適用于各種偽造物的特征。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)簡(jiǎn)單但有效的檢測(cè)器，稱為 LSDA，它基于一個(gè)啟發(fā)式的思想：具有更廣泛種類的偽造的表示應(yīng)該能夠?qū)W習(xí)更通用的決策邊界，從而減少方法特定特征的過(guò)度匹配?；谶@一思想，我們提出了通過(guò)構(gòu)造和模擬潛在空間中偽造特征內(nèi)部和之間的變化來(lái)擴(kuò)大偽造空間。
用于對(duì)象檢測(cè)的主動(dòng)域自適應(yīng)誤報(bào)預(yù)測(cè)
域適應(yīng)使模型適應(yīng)不同的場(chǎng)景，具有不同的外觀。在該領(lǐng)域中，主動(dòng)域自適應(yīng)對(duì)于有效地采樣目標(biāo)域中的有限數(shù)量的數(shù)據(jù)至關(guān)重要。我們提出了一種主動(dòng)域自適應(yīng)目標(biāo)檢測(cè)方法，重點(diǎn)是對(duì)目標(biāo)的不可檢測(cè)性進(jìn)行量化。現(xiàn)有的主動(dòng)采樣方法在估計(jì)模型預(yù)測(cè)的不確定性時(shí)遇到了考慮未檢測(cè)對(duì)象的挑戰(zhàn)。我們提出的主動(dòng)抽樣策略使用主動(dòng)學(xué)習(xí)方法來(lái)解決這個(gè)問(wèn)題，該方法同時(shí)考慮了不確定性和不可檢測(cè)性。
InstaGen：通過(guò)合成數(shù)據(jù)集訓(xùn)練增強(qiáng)對(duì)象檢測(cè)
在本文中，我們提出了一種新的范例來(lái)增強(qiáng)目標(biāo)檢測(cè)器的能力，例如通過(guò)對(duì)擴(kuò)散模型生成的合成數(shù)據(jù)集進(jìn)行訓(xùn)練來(lái)擴(kuò)展類別或提高檢測(cè)性能。具體地說(shuō)，我們將實(shí)例級(jí)定位頭部集成到預(yù)先訓(xùn)練的生成性擴(kuò)散模型中，以增強(qiáng)其在生成圖像中定位實(shí)例的能力。使用來(lái)自現(xiàn)成對(duì)象檢測(cè)器的監(jiān)督和對(duì)未被檢測(cè)器覆蓋的(新的)類別的新穎的自我訓(xùn)練方案，訓(xùn)練定位頭部以使類別名稱的文本嵌入與擴(kuò)散模型的區(qū)域視覺(jué)特征對(duì)齊。
重新思考有向目標(biāo)檢測(cè)的邊界不連續(xù)性問(wèn)題
有向目標(biāo)檢測(cè)在過(guò)去的幾年中得到了迅速的發(fā)展，其中旋轉(zhuǎn)等差對(duì)于檢測(cè)器預(yù)測(cè)旋轉(zhuǎn)的盒子是至關(guān)重要的。當(dāng)物體旋轉(zhuǎn)時(shí)，預(yù)計(jì)預(yù)測(cè)能夠保持相應(yīng)的旋轉(zhuǎn)，但當(dāng)物體在邊界角度附近旋轉(zhuǎn)時(shí)，有時(shí)會(huì)觀察到角度預(yù)測(cè)的嚴(yán)重突變，這是眾所周知的邊界不連續(xù)問(wèn)題。長(zhǎng)期以來(lái)，這個(gè)問(wèn)題一直被認(rèn)為是由于角邊界處損失的急劇增加造成的，廣泛使用的聯(lián)合 OpTim IOU 類方法通過(guò)損失平滑來(lái)處理這個(gè)問(wèn)題。然而，我們實(shí)驗(yàn)發(fā)現(xiàn)，即使是最先進(jìn)的類似借條的方法實(shí)際上也無(wú)法解決問(wèn)題。進(jìn)一步分析發(fā)現(xiàn)，求解的關(guān)鍵在于平滑函數(shù)的編碼方式，而不是聯(lián)合優(yōu)化或獨(dú)立優(yōu)化。在現(xiàn)有的 IOU 類方法中，該模型本質(zhì)上是試圖擬合盒子和物體之間的角度關(guān)系，其中角邊界處的斷點(diǎn)使得預(yù)測(cè)非常不穩(wěn)定。
突出性 DETR：通過(guò)分層突出性過(guò)濾細(xì)化增強(qiáng) Detection Transformer
類 DETR 方法以端到端的方式顯著提高了檢測(cè)性能。它們的主流兩階段框架執(zhí)行密集的自我注意，并選擇一小部分查詢進(jìn)行稀疏交叉注意，這被證明是有效的，但也引入了沉重的計(jì)算負(fù)擔(dān)和對(duì)穩(wěn)定查詢選擇的高度依賴。本文證明了在兩階段初始化中，次優(yōu)的兩階段選擇策略由于選擇的查詢和對(duì)象之間的不匹配而導(dǎo)致規(guī)模偏差和冗余。為了解決這些問(wèn)題，我們提出了分層顯著過(guò)濾精化算法，它只對(duì)過(guò)濾后的區(qū)分查詢執(zhí)行變換編碼，以在計(jì)算效率和精度之間取得更好的折衷。
