今日復(fù)盤3.7

學(xué)習(xí):

3D Dual-Fusion旨要通過減小域間間隙來提高檢測效果,特征級融合的難點(diǎn)在于融合不同的數(shù)據(jù)來源的同時,不丟失原域的信息。

本文是針對前面數(shù)據(jù)處理部分的研究,通過多級交互融合圖像和體素特征來實(shí)現(xiàn)將多模態(tài)原始數(shù)據(jù)轉(zhuǎn)化成具有多模態(tài)的密集BEV特征,將這種密集特征交由現(xiàn)有的3d目標(biāo)檢測器(如transfusion,AutoAlign等)。

主要思想:如果在模態(tài)融合過程中分級,特征轉(zhuǎn)換在特定階段只執(zhí)行一次,并且不執(zhí)行其他域之間的后續(xù)交互,在一定程度上可以保留原域的特征信息。

方法:雙查詢(圖像和體素)機(jī)制引導(dǎo),自注意力機(jī)制對v查詢做局部自注意力學(xué)習(xí)qv得到qv’,雙查詢自適應(yīng)注意力層,將qv’做查詢Q,將體素對應(yīng)圖像像素作為K,V,做交叉注意力。

讀書:

要重輸出輕輸入


日常:

昨天八點(diǎn)就回宿舍玩了,認(rèn)真學(xué)了一天的感覺真好。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容