OpenCV+Python特征提取算法與圖像描述符之SIFT / SURF / ORB

有許多用于特征檢測(cè)和提取的算法，我們將會(huì)對(duì)其中大部分進(jìn)行介紹。OpenCV最常使用的特征檢測(cè)和提取算法有：
  • Harris：該算法用于檢測(cè)角點(diǎn)；
  • SIFT：該算法用于檢測(cè)斑點(diǎn)；
  • SURF：該算法用于檢測(cè)角點(diǎn)；
  • FAST：該算法用于檢測(cè)角點(diǎn)；
  • BRIEF：該算法用于檢測(cè)斑點(diǎn)；
  • ORB：該算法代表帶方向的FAST算法與具有旋轉(zhuǎn)不變性的BRIEF算法；
通過(guò)以下方法進(jìn)行特征匹配：
  • 暴力(Brute-Force)匹配法；
  • 基于FLANN匹配法；
  • 可以采用單應(yīng)性進(jìn)行空間驗(yàn)證。
特征提取算法比較

算法效果比較博文

  • 計(jì)算速度： ORB>>SURF>>SIFT（各差一個(gè)量級(jí)）
  • 旋轉(zhuǎn)魯棒性： SURF>ORB~SIFT（表示差不多）
  • 模糊魯棒性： SURF>ORB~SIFT
  • 尺度變換魯棒性： SURF>SIFT>ORB（ORB并不具備尺度變換性）

基本概念

特征向量

用于表示和量化圖像的數(shù)字列表，簡(jiǎn)單理解成將圖片轉(zhuǎn)化為一個(gè)數(shù)字列表表示。特征向量中用來(lái)描述圖片的各種屬性的向量稱(chēng)為特征矢量。

特征描述符（特征描述子）Descriptor

參考
是一種算法和方法，輸入1個(gè)圖像，返回多個(gè)特征向量（主要用來(lái)處理圖像的局部，往往會(huì)把多個(gè)特征向量組成一個(gè)一維的向量）。主要用于圖像匹配（視覺(jué)檢測(cè)），匹配圖像中的物品。

SIFT特征算法與DoG尺度空間

SIFT論文
原理
opencv官網(wǎng)解釋
實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。SIFT所查找到的關(guān)鍵點(diǎn)是一些十分突出，不會(huì)因光照，仿射變換和噪音等因素而變化的點(diǎn)，如角點(diǎn)、邊緣點(diǎn)、暗區(qū)的亮點(diǎn)及亮區(qū)的暗點(diǎn)等。

SIFT

尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform或SIFT)是一種電腦視覺(jué)的算法用來(lái)偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量。
其應(yīng)用范圍包含物體辨識(shí)、機(jī)器人地圖感知與導(dǎo)航、影像縫合、3D模型建立、手勢(shì)辨識(shí)、影像追蹤和動(dòng)作比對(duì)。

尺度空間

對(duì)現(xiàn)實(shí)中物體的描述一定要在一個(gè)十分重要的前提下進(jìn)行，這個(gè)前提就是對(duì)自然界建模時(shí)的尺度。當(dāng)用一個(gè)機(jī)器視覺(jué)系統(tǒng)分析未知場(chǎng)景時(shí)，計(jì)算機(jī)沒(méi)有辦法預(yù)先知道圖像中物體的尺度，因此我們需要同時(shí)考慮圖像在多尺度下的描述，獲知感興趣物體的最佳尺度。圖像的尺度空間表達(dá)指的是圖像的所有尺度下的描述。


DoG尺度空間


DoG空間極值點(diǎn)
特征點(diǎn)方向歸一化

計(jì)算特征點(diǎn)描述子
SIFT算法分解為如下四步：
  1. 尺度空間極值檢測(cè)：搜索所有尺度上的圖像位置。通過(guò)高斯微分函數(shù)來(lái)識(shí)別潛在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。
  2. 關(guān)鍵點(diǎn)定位：在每個(gè)候選的位置上，通過(guò)一個(gè)擬合精細(xì)的模型來(lái)確定位置和尺度。關(guān)鍵點(diǎn)的選擇依據(jù)于它們的穩(wěn)定程度。
  3. 方向確定：基于圖像局部的梯度方向，分配給每個(gè)關(guān)鍵點(diǎn)位置一個(gè)或多個(gè)方向。所有后面的對(duì)圖像數(shù)據(jù)的操作都相對(duì)于關(guān)鍵點(diǎn)的方向、尺度和位置進(jìn)行變換，從而提供對(duì)于這些變換的不變性。
  4. 關(guān)鍵點(diǎn)描述：在每個(gè)關(guān)鍵點(diǎn)周?chē)泥徲騼?nèi)，在選定的尺度上測(cè)量圖像局部的梯度。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。
sift = cv2.xfeatures2d.SIFT_create()
'''
SIFT_create([, nfeatures[, nOctaveLayers[, contrastThreshold[, edgeThreshold[, sigma]]]]]) -> retval
    .   @param nfeatures The number of best features to retain. The features are ranked by their scores
    .   (measured in SIFT algorithm as the local contrast)
    .   
    .   @param nOctaveLayers The number of layers in each octave. 3 is the value used in D. Lowe paper. The
    .   number of octaves is computed automatically from the image resolution.
    .   
    .   @param contrastThreshold The contrast threshold used to filter out weak features in semi-uniform
    .   (low-contrast) regions. The larger the threshold, the less features are produced by the detector.
    .   
    .   @param edgeThreshold The threshold used to filter out edge-like features. Note that the its meaning
    .   is different from the contrastThreshold, i.e. the larger the edgeThreshold, the less features are
    .   filtered out (more features are retained).
    .   
    .   @param sigma The sigma of the Gaussian applied to the input image at the octave \#0. If your image
    .   is captured with a weak camera with soft lenses, you might want to reduce the number.
'''
keypoints, descriptor = sift.detectAndCompute(img_gray, None)
'''
        detectAndCompute(image, mask[, descriptors[, useProvidedKeypoints]]) -> keypoints, descriptors
        .   Detects keypoints and computes the descriptors
        算法分成了兩步，第一步特征提取，第二步計(jì)算描述符
'''

'''
keypoints數(shù)據(jù)結(jié)構(gòu)
pt, 坐標(biāo)
size, 特征直徑
angle, 特征方向
response, 特征強(qiáng)度
octave,該特征在金字塔的第幾層被找到
class_id
'''

KeyPoint數(shù)據(jù)結(jié)構(gòu)解析

img = cv2.imread('laugh.jpg')
img_large = cv2.imread('laugh_large.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray_large = cv2.cvtColor(img_large, cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()
keypoints, descriptor = sift.detectAndCompute(gray, None)
keypoints2, descriptor2 = sift.detectAndCompute(gray_large, None)
img = cv2.drawKeypoints(image=img, outImage=img, keypoints=keypoints, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
                        color=(0, 0, 255))
img_large = cv2.drawKeypoints(image=img_large, outImage=img_large, keypoints=keypoints2,
                              flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
                              color=(0, 0, 255))

cv2.imshow('sift', img)
cv2.imshow('sift_large', img_large)
SIFT效果

SURF算法和Fast Hessian矩陣

SURF論文
原理
opencv官網(wǎng)解釋
SURF是SIFT的加速版，它善于處理具有模糊和旋轉(zhuǎn)的圖像，但是不善于處理視角變化和光照變化。在SIFT中使用DoG對(duì)LoG進(jìn)行近似，而在SURF中使用盒子濾波器對(duì)LoG進(jìn)行近似，這樣就可以使用積分圖像了（計(jì)算圖像中某個(gè)窗口內(nèi)所有像素和時(shí)，計(jì)算量的大小與窗口大小無(wú)關(guān)）?？傊?，SURF最大的特點(diǎn)在于采用了Haar特征以及積分圖像的概念，大大加快了程序的運(yùn)行效率。

surf = cv2.xfeatures2d.SURF_create(hessian_threshold)
# hessian_threshold 保留的特征值越少，越強(qiáng)大的特征值才會(huì)被保留，需要根據(jù)具體圖像進(jìn)行調(diào)整

img = cv2.imread("laugh.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

alg = cv2.xfeatures2d.SURF_create(10000)
keypoints, descriptor = alg.detectAndCompute(gray, None)
img = cv2.drawKeypoints(img, keypoints, img, (0, 0, 255), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

cv2.imshow('hessian_10000', img)
SURF - hessan閾值效果對(duì)比

SURF - 不同尺度效果對(duì)比
注意事項(xiàng)

因?yàn)閷?zhuān)利原因，OpenCV3.3開(kāi)始不再免費(fèi)開(kāi)放SIFT\SURF，需要免費(fèi)的請(qǐng)使用ORB算法

ORB特征算法

ORB算法綜合了FAST角點(diǎn)檢測(cè)算法和BRIEFF描述符。

FAST特征檢測(cè)

算法原理
opencv官方文檔
FAST只是一種特征點(diǎn)檢測(cè)算法，并不涉及特征點(diǎn)的特征描述。

fast = cv2.FastFeatureDetector_create(threshold=10)

img = cv2.imread("laugh.jpg", 0)
fast = cv2.FastFeatureDetector_create()
keypoints = fast.detect(img, None)
img = cv2.drawKeypoints(img, keypoints, None, (0, 0, 255))
FAST - threshold100效果圖
FAST - 默認(rèn)threshold(10)效果圖
BRIEF特征描述符

論文
opencv官方文檔
中文版
Brief是Binary Robust Independent Elementary Features的縮寫(xiě)。這個(gè)特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征點(diǎn)附近隨機(jī)選取若干點(diǎn)對(duì)，將這些點(diǎn)對(duì)的灰度值的大小，組合成一個(gè)二進(jìn)制串，并將這個(gè)二進(jìn)制串作為該特征點(diǎn)的特征描述子。文章同樣提到，在此之前，需要選取合適的gaussian kernel對(duì)圖像做平滑處理。

缺點(diǎn)

1：不具備旋轉(zhuǎn)不變性。
2：對(duì)噪聲敏感
3：不具備尺度不變性。

img = cv2.imread("laugh.jpg", 0)
# Initiate FAST detector
star = cv2.xfeatures2d.StarDetector_create()
# Initiate BRIEF extractor
brief = cv2.xfeatures2d.BriefDescriptorExtractor_create()
# find the keypoints with STAR
kp = star.detect(img, None)
# compute the descriptors with BRIEF
kp, des = brief.compute(img, kp)
print(brief.descriptorSize())
print(des.shape)
ORB

ORB論文
OpenCV官方文檔

ORB采用了FAST作為特征點(diǎn)檢測(cè)算子，特征點(diǎn)的主方向是通過(guò)矩（moment）計(jì)算而來(lái)解決了BRIEF不具備旋轉(zhuǎn)不變性的問(wèn)題。
ORB還做了這樣的改進(jìn)，不再使用pixel-pair，而是使用9×9的patch-pair，也就是說(shuō)，對(duì)比patch的像素值之和，解決了BRIEF對(duì)噪聲敏感的問(wèn)題。
關(guān)于計(jì)算速度：
ORB是sift的100倍，是surf的10倍。

import cv2

img = cv2.imread("A.jpg", 0)
orb = cv2.ORB_create()
kp, des = orb.detectAndCompute(img, None)
# len(kp) : 485
# des.shape:  (485, 32)
ORB效果

附：相關(guān)知識(shí)

特征提取方法

直方圖

對(duì)圖片數(shù)據(jù)、特征分布的一種統(tǒng)計(jì)
對(duì)數(shù)據(jù)空間(bin)進(jìn)行量化

聚類(lèi)

Kmeans

顏色特征

  • 量化顏色直方圖，適用于均勻分布的顏色空間，如RGB，HSV等。
    統(tǒng)計(jì)落在量化單元上的像素?cái)?shù)量，bin內(nèi)的像素由bin中心的顏色代表
  • 聚類(lèi)顏色直方圖，適用于非均勻分布的顏色空間，如Lab等

幾何特征

邊緣：尺度問(wèn)題->不同的標(biāo)準(zhǔn)差\sigma捕捉到不同尺度的邊緣
斑點(diǎn) Blob：二階高斯導(dǎo)數(shù)濾波LoG


LoG圖找零點(diǎn)就是邊緣

LoG圖找極值點(diǎn)就是斑點(diǎn)

DoG：LoG近似于2個(gè)不同尺度的高斯差分，計(jì)算量大大減小
藍(lán)色是LoG，黑色是DoG

關(guān)鍵點(diǎn)(keypoint)：不同視角圖片之間的映射，圖片配準(zhǔn)、拼接、運(yùn)動(dòng)跟蹤、物體識(shí)別、機(jī)器人導(dǎo)航、3D重建

紋理特征

  • HOG方向梯度直方圖
  • LBP局部二值模式

  • Gabor濾波器組：多尺度多方向。原理：頻域中是加窗傅里葉變換，時(shí)域中是一個(gè)高斯核和正弦平面波的乘積


    三尺度、八方向

局部特征

SIFT\SURF

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容