文章最讓我不解的就是DarkMatter AI Research到底是個什么地方(狗頭)
文章的創(chuàng)新點主要有兩個
- 「Rigorous Rotation-Invariant (RRI) Representation」是一個通過嚴(yán)格證明與推導(dǎo)得到的具有旋轉(zhuǎn)不變性的point-wise neighborhood-based feature representation
- 「Network based on Unsupervised Clustering」通過無監(jiān)督的聚類的方式,自下而上的生成一棵樹,從而完成將local region逐步合并至global region的過程
首先是 「RRI Representation」
作者通過嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)證明找出了幾種具有旋轉(zhuǎn)不變性的算子,例如取模 / 兩點之間的夾角 / etc. 這些算子具有旋轉(zhuǎn)不變性其實是intuitive的,但是文章比較rigorous的地方就在于他通過了數(shù)學(xué)的證明驗證了旋轉(zhuǎn)不變性。 所以文章對每一個neighborhood中的每個點,利用這些旋轉(zhuǎn)不變性的算子描述了點與centroid的關(guān)系,從而得到每一個點的local representation。

接下來要做的就是如何對local representation提取特征得到信息更豐富的local feature。作者進(jìn)行了如下的轉(zhuǎn)化(真的很巧妙了)

作者將分配到每一個鄰居,然后的由一個四元祖表示每一個neighbor與centroid的關(guān)系,然后將
看作一個新的點云「每個點云描述的是一個neighborhood」,并使用簡單的pointnet提取特征。
原文中僅僅對原始input使用了一個RRI module,它有兩個好處,一個是只要是描述同一物體的point cloud,哪怕經(jīng)過旋轉(zhuǎn)之后輸入同一個RRI module那么輸出的結(jié)果是一樣的,使得后續(xù)的整個網(wǎng)絡(luò)都具有旋轉(zhuǎn)不變性質(zhì);另一個好處是能夠?qū)γ恳粋€點的feature進(jìn)行加強(qiáng),使得每一個feature都embed了neighbors的feature。
「Hierarchical Clustering Tree」

具體的實現(xiàn)細(xì)節(jié)如下圖

首先利用了EdgeConv,將neighbors的feature aggregation到每一個人,這一步的操作不會實現(xiàn)down-sampling,而down-sampling的操作則是通過cluster完成的「」。這個可以代替PointNet++中通過FPS來down-sampling使得整個過程更加reasonable。