學(xué)習(xí):
3D Dual-Fusion旨要通過減小域間間隙來提高檢測效果,特征級融合的難點(diǎn)在于融合不同的數(shù)據(jù)來源的同時,不丟失原域的信息。
本文是針對前面數(shù)據(jù)處理部分的研究,通過多級交互融合圖像和體素特征來實(shí)現(xiàn)將多模態(tài)原始數(shù)據(jù)轉(zhuǎn)化成具有多模態(tài)的密集BEV特征,將這種密集特征交由現(xiàn)有的3d目標(biāo)檢測器(如transfusion,AutoAlign等)。
主要思想:如果在模態(tài)融合過程中分級,特征轉(zhuǎn)換在特定階段只執(zhí)行一次,并且不執(zhí)行其他域之間的后續(xù)交互,在一定程度上可以保留原域的特征信息。
方法:雙查詢(圖像和體素)機(jī)制引導(dǎo),自注意力機(jī)制對v查詢做局部自注意力學(xué)習(xí)qv得到qv’,雙查詢自適應(yīng)注意力層,將qv’做查詢Q,將體素對應(yīng)圖像像素作為K,V,做交叉注意力。
讀書:
要重輸出輕輸入
日常:
昨天八點(diǎn)就回宿舍玩了,認(rèn)真學(xué)了一天的感覺真好。