工業(yè)場(chǎng)景中缺陷檢測(cè)的算法探討

工業(yè)現(xiàn)場(chǎng)的產(chǎn)品缺陷檢測(cè),一項(xiàng)重要的不可缺少的環(huán)節(jié),除了通過儀器儀表做的檢測(cè),還有很多情況下,同時(shí)視覺檢測(cè)產(chǎn)品的缺陷和瑕疵. 這個(gè)時(shí)候,計(jì)算機(jī)視覺的人工智能技術(shù)就可以發(fā)揮它的作用,替代或者輔助人員做產(chǎn)品的質(zhì)檢,實(shí)現(xiàn)無人化,高速檢測(cè),高精度檢測(cè)的任務(wù).
我們正在做這方面的技術(shù)研究和探索,下一步將開展通用產(chǎn)品的缺陷檢測(cè)的算法和產(chǎn)品的研發(fā)和測(cè)試.

0.png

out.gif

1.jpg

0.序篇

工業(yè)現(xiàn)場(chǎng)的品控管理中,缺陷檢測(cè)是重要一環(huán),傳統(tǒng)的缺陷檢測(cè)存在如下問題:

• 缺陷檢測(cè)環(huán)節(jié)依賴人工完成,需要耗費(fèi)大量的人力和物力.
• 人工檢測(cè)存在人為的檢測(cè)失誤,會(huì)隨著勞動(dòng)強(qiáng)度和人員的狀態(tài)改變,存在很多不確定性.
• 人工檢測(cè)的精度和準(zhǔn)確度無法和機(jī)器檢測(cè)相提并論.
• 速度上和工作強(qiáng)度上,人工無法和機(jī)器相比.

所以說,在工業(yè)場(chǎng)景中,生產(chǎn)技術(shù)密集型企業(yè),連續(xù)生產(chǎn)產(chǎn)線上等場(chǎng)合,通過增加機(jī)器視覺的缺陷檢測(cè)環(huán)節(jié),可以大幅減少人工,提升品控效率,提高生產(chǎn)率和良品率,最終增加產(chǎn)品附加值.

相比于目前人工智能在其他一些領(lǐng)域的應(yīng)用,在工業(yè)現(xiàn)場(chǎng)的基于計(jì)算機(jī)視覺的缺陷檢測(cè),瑕疵檢測(cè)的人工智能技術(shù)應(yīng)用,更加接地氣,更加能直接給企業(yè)帶來價(jià)值.

i1.jpeg

i2.jpeg

i3.jpeg

1.探索

下面我針對(duì)工業(yè)現(xiàn)場(chǎng)的不同場(chǎng)景,基于算法的角度,做一下缺陷檢測(cè)的探索工作.

1. A fast and robust convolutional neural network-based defect detection model in product quality control

檢測(cè)對(duì)象：適合于目標(biāo)對(duì)象為平面的表面缺陷檢測(cè):如布匹缺陷,金屬表面缺陷,產(chǎn)品外表面的缺陷和瑕疵檢測(cè)等.

主要通過對(duì)輸入圖像進(jìn)行切片，然后把切片圖像送入深度學(xué)習(xí)網(wǎng)絡(luò)中做判斷，做圖像分類訓(xùn)練。在推理時(shí)，通過滑窗檢測(cè)方式進(jìn)行逐位置識(shí)別。

優(yōu)缺點(diǎn)：

1、 由于使用分類方式，準(zhǔn)確率較為高

2、 由于滑窗遍歷，速度慢

a1.jpg

a2.jpg

2. Automatic Defect Detection of Fasteners on the Catenary Support Device Using Deep Convolutional Neural Network（基于深度卷積網(wǎng)絡(luò)的接觸網(wǎng)支架緊固件缺陷自動(dòng)檢測(cè)）

   檢測(cè)對(duì)象:適合復(fù)雜外形的支架和關(guān)鍵固件和連接件的缺陷檢測(cè),比如:高壓輸電線路的巡檢,大型器械的連接件的檢測(cè)等等.

三步檢測(cè)

算法采用方式為Object Detection的方法做目標(biāo)檢測(cè),針對(duì)小目標(biāo)的準(zhǔn)確檢測(cè),采用了三步檢測(cè)的方法.

b2.jpg

第一階段：定位主要結(jié)構(gòu)件位置，采用SSD作為檢測(cè)網(wǎng)絡(luò),先做第一步的定位檢測(cè).

b3.jpg

第二階段：對(duì)第一階段檢測(cè)出的各個(gè)結(jié)構(gòu)圖像中的緊固件做檢測(cè)，也是采用Object Detection方式 比如 yolo,進(jìn)行目標(biāo)檢測(cè)和識(shí)別。

b4.jpg

第三階段：在第二階段的基礎(chǔ)上，對(duì)檢測(cè)圖像進(jìn)行crop，將其送到分類網(wǎng)絡(luò)進(jìn)行分類，看是否缺少緊固件。


3. Automatic Fabric Defect Detection with a Multi-Scale Convolutional Denoising Autoencoder Network Model（基于多尺度卷積消噪自編碼網(wǎng)絡(luò)模型的織物疵點(diǎn)自動(dòng)檢測(cè)）

   檢測(cè)對(duì)象：紡織物和布匹的瑕疵點(diǎn)檢測(cè)。
   

主要思想：織物疵點(diǎn)檢測(cè)是紡織制造業(yè)質(zhì)量控制中必不可少的環(huán)節(jié)。傳統(tǒng)的織物檢測(cè)通常采用人工視覺的方法進(jìn)行，效率低，長期工業(yè)應(yīng)用精度差。論文提出使用高斯金字塔結(jié)合語義分割的方式來重建缺陷，推理階段通過結(jié)合多尺度結(jié)果，完成融合。這種方法在織物疵點(diǎn)檢測(cè)中有幾個(gè)突出的優(yōu)點(diǎn)。首先，只需少量的無缺陷樣本就可以進(jìn)行訓(xùn)練。這對(duì)于收集大量有缺陷樣品困難且不可行的情況尤其重要。其次，由于采用了多模態(tài)積分策略，與一般的檢測(cè)方法相比，該方法具有更高的魯棒性和準(zhǔn)確性。第三，根據(jù)我們的結(jié)果，它可以處理多種類型的紡織面料，從簡單到復(fù)雜。實(shí)驗(yàn)結(jié)果表明，該模型具有較強(qiáng)的魯棒性和良好的整體性能。

模型結(jié)構(gòu)：

c1.jpg

c2.jpg

檢測(cè)結(jié)果：

c3.jpg

c4.jpg

c5.jpg

d1.jpg

4. Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks

檢測(cè)對(duì)象：金屬表面缺陷檢測(cè)

主要思想： 用一種能準(zhǔn)確定位和分類從實(shí)際工業(yè)環(huán)境中獲取的輸入圖像中出現(xiàn)的缺陷的雙重過程來自動(dòng)檢測(cè)金屬缺陷。設(shè)計(jì)了一種新的級(jí)聯(lián)自動(dòng)編碼器（CASAE）結(jié)構(gòu)，用于缺陷的分割和定位。級(jí)聯(lián)網(wǎng)絡(luò)將輸入的缺陷圖像轉(zhuǎn)化為基于語義分割的像素級(jí)預(yù)測(cè)掩模。利用壓縮卷積神經(jīng)網(wǎng)絡(luò)（CNN）將分割結(jié)果的缺陷區(qū)域劃分為特定的類。利用工業(yè)數(shù)據(jù)集可以成功地檢測(cè)出各種條件下的金屬缺陷。實(shí)驗(yàn)結(jié)果表明，該方法滿足金屬缺陷檢測(cè)的穩(wěn)健性和準(zhǔn)確性要求。同時(shí)，它也可以擴(kuò)展到其他檢測(cè)應(yīng)用中。

其實(shí)還是使用語義分割網(wǎng)絡(luò)先定位像素級(jí)別的缺陷位置，然后通過分類網(wǎng)絡(luò)對(duì)缺陷進(jìn)行識(shí)別。

d1.jpg

d2.jpg

實(shí)驗(yàn)結(jié)果:

d3.jpg

5. A Surface Defect Detection Method Based on Positive Samples

   檢測(cè)對(duì)象：密集織物

   主要思想：本文提出了一種新的基于正樣本訓(xùn)練的缺陷檢測(cè)框架?；緳z測(cè)的概念是建立一個(gè)重建網(wǎng)絡(luò)，它可以修復(fù)樣本中存在的缺陷區(qū)域，然后對(duì)輸入樣本與恢復(fù)樣本進(jìn)行比較，以指示缺陷區(qū)域的準(zhǔn)確。結(jié)合GAN和自動(dòng)編碼器進(jìn)行缺陷圖像重建，利用LBP進(jìn)行圖像局部對(duì)比度檢測(cè)缺陷。在算法的訓(xùn)練過程中，只需要正樣本，不需要缺陷樣本和人工標(biāo)注。

   e1.jpg

   e3.jpg

   在訓(xùn)練階段，x是從訓(xùn)練集中隨機(jī)拍攝的隨機(jī)照片。C（x～| x）是一個(gè)人工缺陷模塊。它的功能是自動(dòng)生成損壞的、有缺陷的樣本，x～是它的輸出。EN和DE構(gòu)成一個(gè)自動(dòng)編碼器，EN是一個(gè)編碼器，DE是一個(gè)解碼器，整個(gè)自動(dòng)編碼器在G an模型中可以看作是一個(gè)生成器。G的任務(wù)是修復(fù)有缺陷的圖片。D是一個(gè)鑒別器，D的輸出是它的鑒別器是真正樣本的概率。

   在測(cè)試階段，我們將測(cè)試圖像x輸入到自動(dòng)編碼器G中，得到恢復(fù)圖像y，然后使用LBP算法提取x和y的特征，并比較x的每個(gè)像素的特征，其中x和y的特征差異較大，即缺陷。

   實(shí)驗(yàn)結(jié)果：

   e4.jpg

通過GAN的方式來進(jìn)行缺陷檢測(cè)和重建一直是個(gè)熱點(diǎn)方向，而且效果比較好，本文的思路算是比較新穎，值得借鑒。

6. Segmentation-based deep-learning approach for surface-defect detection

檢測(cè)對(duì)象：表面缺陷檢測(cè)、裂紋檢測(cè)（金屬）

主要思想：本文主要采用了兩個(gè)網(wǎng)絡(luò)，一個(gè)是判別網(wǎng)絡(luò)，一個(gè)是分割網(wǎng)絡(luò)。分割網(wǎng)絡(luò)主要完成缺陷的分割，而判別網(wǎng)絡(luò)在此基礎(chǔ)上對(duì)缺陷作進(jìn)一步分類。

f1.jpg

f2.jpg

算法很新穎，實(shí)驗(yàn)結(jié)果也還不錯(cuò):

f3.jpg

g1.jpg

7. SDD-CNN: Small Data-Driven Convolution Neural Networks for Subtle Roller Defect Inspection（小數(shù)據(jù)驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)在軋輥微小缺陷檢測(cè)中的應(yīng)用）
   檢測(cè)對(duì)象：軋輥微小缺陷檢查

主要思想：滾柱軸承是旋轉(zhuǎn)機(jī)械中最關(guān)鍵、應(yīng)用最廣泛的部件之一。外觀缺陷檢測(cè)是軸承質(zhì)量控制的關(guān)鍵。然而，在實(shí)際工業(yè)中，軸承缺陷往往是極其細(xì)微的，并且發(fā)生的概率很低。這就導(dǎo)致了正負(fù)樣本數(shù)量的分布差異，使得依靠數(shù)據(jù)驅(qū)動(dòng)的檢測(cè)方法難以開發(fā)和部署。本文提出了一種用于軋輥微小缺陷檢測(cè)的小數(shù)據(jù)驅(qū)動(dòng)卷積神經(jīng)網(wǎng)絡(luò)（SDD-CNN）一種用于小數(shù)據(jù)預(yù)處理的集成方法。首先，應(yīng)用標(biāo)簽膨脹（LD）來解決類分布不平衡的問題。其次，提出了一種半監(jiān)督數(shù)據(jù)增廣（SSDA）方法，以更有效和可控的方式擴(kuò)展數(shù)據(jù)集。該方法通過訓(xùn)練一個(gè)粗糙的CNN模型來生成地面真值類激活，并指導(dǎo)圖像的隨機(jī)裁剪。第三，介紹了CNN模型的四種變體，即SqueezeNet v1, Inception v3,VGG-16, and ResNet-18，并將其用于軋輥表面缺陷的檢測(cè)和分類。最后，進(jìn)行了一系列豐富的實(shí)驗(yàn)和評(píng)估，表明SDD-CNN模型，特別是SDD Inception v3模型，在滾筒缺陷分類任務(wù)中執(zhí)行得非常好，top-1精度達(dá)到99.56%。此外，與原始CNN模型相比，SDD-CNN模型的收斂時(shí)間和分類精度都有顯著提高。
網(wǎng)絡(luò)結(jié)構(gòu)：

g1.jpg

實(shí)驗(yàn)結(jié)果:

g2.jpg

2.布局

針對(duì)以上的論文中的算法,我們不難發(fā)現(xiàn)一些不錯(cuò)的思路和方法:

1. 采用目標(biāo)檢測(cè)定位缺陷部位

2. 采用圖像分類區(qū)分缺陷類型

3. 采用非監(jiān)督學(xué)習(xí)(自編碼和GAN的算法)實(shí)現(xiàn)少量負(fù)樣本,或者都是正樣本的情況下的訓(xùn)練和檢測(cè)

4. 采用多模型串聯(lián)耦合模式增強(qiáng)模型的精度

   等等...

但是我們也會(huì)發(fā)現(xiàn)一些不足:

1. 依賴預(yù)先的設(shè)計(jì)的模型
2. 依賴事先采集的數(shù)據(jù)集訓(xùn)練
3. 模型的優(yōu)化依賴設(shè)計(jì)者

這對(duì)以上問題,我們大膽假設(shè),提出以下思路:

1. 采用串聯(lián)模型,多模型耦合建模

2. 使用孿生網(wǎng)絡(luò)做正樣本的模型

3. 少量正樣本即可訓(xùn)練

4. 使用孿生網(wǎng)絡(luò)甄別負(fù)樣本

5. 使用動(dòng)態(tài)的自學(xué)習(xí)網(wǎng)絡(luò)模型,動(dòng)態(tài)學(xué)習(xí),可以在產(chǎn)線上不斷完善模型權(quán)重,更新模型

6. 配合人工判別,增強(qiáng)線上學(xué)習(xí)的能力

3.實(shí)驗(yàn)

我們使用英偉達(dá)的入門級(jí)AI開發(fā)板 jetson nano,搭建運(yùn)行模型,并作為邊緣計(jì)算的AI設(shè)備.

jetson3.png

jetson2.png

jetson1.png

4.產(chǎn)品

(先占位... ) 我們?cè)趈etson nano上做的產(chǎn)品和演示:

out.gif

5.未來

(先占位... )