最近在研究人工智能和圖像識別技術(shù)，涉及到一個車牌號碼識別的研究，網(wǎng)上查找到的方案有tensorflow和opencv，opencv也是比較成熟的方案，先從簡單的開始，以下是關(guān)于使用opencv實現(xiàn)車牌號碼提取的部分。
說明
本文是我學習過程的筆記，在某些的場景下的識別率較高，但是不足以在實際的商業(yè)環(huán)境上使用，因為準確率還沒有達到工業(yè)水平，還需要通過調(diào)整算法，機器學習相關(guān)技術(shù)才能有較高的準確度。車牌識別不是我的最終目標，我主要是要研究人工智能和圖像識別相關(guān)的技術(shù)，本文只是提供一些圖像識別的思路。下面每個步驟都不是必須的，而且還有很多的優(yōu)化空間，如果你參考本文做實驗，可以調(diào)整不同的參數(shù)，刪除部分的步驟查看效果。
整體流程
- 高斯模糊
- 圖片灰度化
- Sobel算子
- 圖像二值化
- 閉操作
- 膨脹腐蝕
- 中值濾波
- 查找輪廓
- 判斷車牌區(qū)域
原圖
image.png
高斯模糊
通過高斯模糊，可以去除部分的干擾，讓識別更加準確，做實驗可以屏蔽代碼，看看這一步對結(jié)果的影響。
import cv2
rawImage = cv2.imread("image.jpg")
image = cv2.GaussianBlur(rawImage, (3, 3), 0)
# 預覽效果
cv2.imshow('image', image)
cv2.waitKey(0)
image.png
圖片灰度化
將彩色圖像轉(zhuǎn)化成為灰度圖像。
image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
image.png
Sobel算子（X方向）
圖像邊緣檢測。
Sobel_x = cv2.Sobel(image, cv2.CV_16S, 1, 0)
# Sobel_y = cv2.Sobel(image, cv2.CV_16S, 0, 1)
absX = cv2.convertScaleAbs(Sobel_x) # 轉(zhuǎn)回uint8
# absY = cv2.convertScaleAbs(Sobel_y)
# dst = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
image = absX
image.png
圖像二值化
就是將圖像上的像素點的灰度值設(shè)置為0或255,圖像呈現(xiàn)出明顯的只有黑和白。
ret, image = cv2.threshold(image, 0, 255, cv2.THRESH_OTSU)
image.png
閉操作
閉操作可以將目標區(qū)域連成一個整體，便于后續(xù)輪廓的提取。
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5))
image = cv2.morphologyEx(image, cv2.MORPH_CLOSE, kernelX)
image.png
膨脹腐蝕
通過膨脹連接相近的圖像區(qū)域，通過腐蝕去除孤立細小的色塊。
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (20, 1))
kernelY = cv2.getStructuringElement(cv2.MORPH_RECT, (1, 19))
image = cv2.dilate(image, kernelX)
image = cv2.erode(image, kernelX)
image = cv2.erode(image, kernelY)
image = cv2.dilate(image, kernelY)
image.png
中值濾波
去除圖像或者其它信號中的噪聲。
image = cv2.medianBlur(image, 15)
image.png
查找輪廓
tmp, contours, w1 = cv2.findContours(image, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
# 繪制輪廓
image = cv2.drawContours(rawImage, contours, -1, (0, 0, 255), 3)
cv2.imshow('image', image)
image.png
判斷車牌區(qū)域
我這里的判斷比較簡單是判斷，寬高大于2比1的，實際上應該更加復雜一些，僅供學習參考。
for item in contours:
rect = cv2.boundingRect(item)
x = rect[0]
y = rect[1]
weight = rect[2]
height = rect[3]
if weight > (height * 2):
image = rawImage[y:y + height, x:x + weight]
cv2.imshow('image', image)
image.png
完整代碼
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import cv2
# 讀取圖片
rawImage = cv2.imread("photo.jpg")
# 高斯模糊，將圖片平滑化，去掉干擾的噪聲
image = cv2.GaussianBlur(rawImage, (3, 3), 0)
# 圖片灰度化
image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
# Sobel算子（X方向）
Sobel_x = cv2.Sobel(image, cv2.CV_16S, 1, 0)
# Sobel_y = cv2.Sobel(image, cv2.CV_16S, 0, 1)
absX = cv2.convertScaleAbs(Sobel_x) # 轉(zhuǎn)回uint8
# absY = cv2.convertScaleAbs(Sobel_y)
# dst = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
image = absX
# 二值化：圖像的二值化，就是將圖像上的像素點的灰度值設(shè)置為0或255,圖像呈現(xiàn)出明顯的只有黑和白
ret, image = cv2.threshold(image, 0, 255, cv2.THRESH_OTSU)
# 閉操作：閉操作可以將目標區(qū)域連成一個整體，便于后續(xù)輪廓的提取。
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5))
image = cv2.morphologyEx(image, cv2.MORPH_CLOSE, kernelX)
# 膨脹腐蝕(形態(tài)學處理)
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (20, 1))
kernelY = cv2.getStructuringElement(cv2.MORPH_RECT, (1, 19))
image = cv2.dilate(image, kernelX)
image = cv2.erode(image, kernelX)
image = cv2.erode(image, kernelY)
image = cv2.dilate(image, kernelY)
# 平滑處理，中值濾波
image = cv2.medianBlur(image, 15)
# 查找輪廓
tmp, contours, w1 = cv2.findContours(image, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
for item in contours:
rect = cv2.boundingRect(item)
x = rect[0]
y = rect[1]
weight = rect[2]
height = rect[3]
if weight > (height * 2):
# 裁剪區(qū)域圖片
chepai = rawImage[y:y + height, x:x + weight]
cv2.imshow('chepai'+str(x), chepai)
# 繪制輪廓
image = cv2.drawContours(rawImage, contours, -1, (0, 0, 255), 3)
cv2.imshow('image', image)
cv2.waitKey(0)
cv2.destroyAllWindows()
