一種新的自動(dòng)學(xué)習(xí)特征和進(jìn)化集合的遺傳規(guī)劃方法

集成學(xué)習(xí)，特征學(xué)習(xí)，遺傳規(guī)劃，圖像分類，表示

圖像分類是機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱門課題，但由于圖像的高度變異性，它具有很大的挑戰(zhàn)性。與單一分類算法相比，采用集成方法求解圖像分類可以獲得更高的分類性能。然而，要獲得一個(gè)好的集成方法，一個(gè)集成算法中的分量（基）篩子應(yīng)該是準(zhǔn)確和多樣的。為了有效地解決圖像分類問題，需要對(duì)原始像素進(jìn)行特征提取，將其轉(zhuǎn)化為高層次的信息特征。然而，這個(gè)過程通常需要領(lǐng)域知識(shí)。本文提出了一種基于遺傳編程的進(jìn)化方法，能夠自動(dòng)地同時(shí)學(xué)習(xí)信息特征，進(jìn)化出有效的圖像分類集合。新方法以原始圖像作為輸入，并根據(jù)進(jìn)化后的分類器返回類標(biāo)簽的預(yù)測(cè)。為了實(shí)現(xiàn)這一點(diǎn)，我們開發(fā)了一個(gè)新的個(gè)體表示、一個(gè)新的函數(shù)集和一個(gè)新的終端集，使新的方法能夠有效地找到最佳解決方案。更重要的是，新方法的解決方案能夠從原始圖像中提取信息特征，并能自動(dòng)解決集合的多樣性問題。此外，該方法還可以自動(dòng)選擇和優(yōu)化集成分類算法的參數(shù)。對(duì)13個(gè)不同難度的圖像分類數(shù)據(jù)集進(jìn)行了性能測(cè)試，并與大量有效方法進(jìn)行了比較。結(jié)果表明，新方法在大多數(shù)數(shù)據(jù)集上的分類精度優(yōu)于競(jìng)爭(zhēng)性方法。進(jìn)一步的分析表明，新方法能夠進(jìn)化出精度高、多樣性好的解。

集成方法在解決分類問題中得到了廣泛的應(yīng)用[3]，[4]。集成由多個(gè)基本學(xué)習(xí)者（分類器）組成，用于解決分類問題[5]。在集成中，每個(gè)分類器使用訓(xùn)練數(shù)據(jù)和常用的分類算法（如決策樹（DT）和支持向量機(jī)（SVMs））進(jìn)行訓(xùn)練[3]，[6]。然后采用投票法和平均法相結(jié)合的方法，對(duì)分類器的輸出進(jìn)行組合，以達(dá)到較好的預(yù)測(cè)效果。集成通常比單一分類器在未觀察到的數(shù)據(jù)上獲得更好的泛化性能[6]。集成的性能可以定義為E=E-A，其中E表示分類器的泛化誤差的平均值，A表示集成的平均模糊度（多樣性）[5]，[7]。如方程所示，要獲得一個(gè)好的集成，分類器必須準(zhǔn)確多樣。在集成構(gòu)建過程中，分類器的多樣性常常被認(rèn)為是影響集成性能的關(guān)鍵因素[8]。這種多樣性表明分類器在集成中獲得的誤差是不相關(guān)的，這是不容易測(cè)量的。為了構(gòu)建一組不同的分類篩選器，已經(jīng)開發(fā)了許多技術(shù)，例如bagging和boosting，它們使用不同的數(shù)據(jù)集來訓(xùn)練集成中的每個(gè)分類器[5]、[9]。其他的努力可以在[10]和[11]中看到。然而，多樣性問題仍然是集成學(xué)習(xí)中的一個(gè)開放性問題[8]。

利用集成方法解決圖像分類問題，一個(gè)關(guān)鍵的過程是從圖像中提取一組信息特征，因?yàn)樵枷袼刂低菬o效的。然后將提取的特征輸入到一組分類算法中，以訓(xùn)練集成的分類器[12]。特征提取將圖像的低層次原始像素值轉(zhuǎn)化為高層次的信息特征，進(jìn)行分類判別。然而，由于圖像的高變化性和圖像數(shù)據(jù)的高維性，很難從圖像中獲得具有區(qū)分性和不變性的特征。盡管已經(jīng)提出了許多方法，如局部二值模式（LBPs）[13]、方向梯度直方圖（HOGs）[14]和尺度不變特征變換（SIFT）[15]，但它們僅限于特定的圖像域，在應(yīng)用于新的域時(shí)需要域知識(shí)。特征學(xué)習(xí)技術(shù)可以通過從原始圖像中自動(dòng)學(xué)習(xí)有效的特征來解決這些問題，以達(dá)到較高的分類性能。典型作品見[16]和[17]。然而，由于圖像分類涉及到很多領(lǐng)域，即人臉圖像、紋理圖像、場(chǎng)景圖像和其他對(duì)象圖像，因此學(xué)習(xí)信息特征來處理不同類型的圖像分類任務(wù)仍然具有挑戰(zhàn)性。

作為一種進(jìn)化計(jì)算（EC）技術(shù)，遺傳規(guī)劃（GP）旨在以程序的形式自動(dòng)尋找解決特定問題的解決方案[18]。GP被用來構(gòu)造用于分類的集合，因?yàn)槊總€(gè)GP程序都可以是用于二進(jìn)制或多類分類的分類器[19]，例如使用bagging或boosting方法[9]。其他基于GP的集成方法可以在[20]-[22]中看到。然而，由于特征提取的必要性和困難性，大多數(shù)方法不能直接用于處理圖像分類任務(wù)

另一方面，人們提出了許多基于GP的方法來自動(dòng)學(xué)習(xí)用于圖像分類的特征，如[16]、[17]、[23]和[24]。學(xué)習(xí)到的特征通常是通過多個(gè)層次的轉(zhuǎn)換，即線性和非線性，在基于樹的表示中。通常，GP從原始圖像構(gòu)造/學(xué)習(xí)一個(gè)高級(jí)特征，并且可以容易地用于二值圖像分類，例如在[23]和[24]中。然而，大多數(shù)圖像分類任務(wù)是多類的，一個(gè)特征不能有效地解決它們。GP已經(jīng)被應(yīng)用于學(xué)習(xí)圖像分類的多個(gè)特征，并顯示出希望[16]，[17]。但大多數(shù)方法都局限于特定的圖像域，如紋理分類[17]。此外，這些方法只使用一個(gè)分類器進(jìn)行分類。因此，使用集成分類器可以進(jìn)一步提高它們的分類性能。

利用一種靈活的基于樹的表示方法，可以將特征學(xué)習(xí)和集成學(xué)習(xí)的過程集成到一棵GP樹中，從原始圖像中自動(dòng)演化出有效的圖像分類解決方案。我們以前的工作[25]開發(fā)了一個(gè)使用GP（EGP）進(jìn)行圖像分類的自動(dòng)集成框架，并在不同類型的圖像分類任務(wù)上取得了有希望的結(jié)果。EGP方法可以使用過濾和池操作來學(xué)習(xí)特征，并使用這些特征來構(gòu)建集成的分類器。EGP的主要優(yōu)點(diǎn)是在整個(gè)過程中能夠顯著地減少領(lǐng)域知識(shí)的需求，在進(jìn)化學(xué)習(xí)過程中，圖像相關(guān)算子、分類算法和組合方法的選擇是自動(dòng)進(jìn)行和優(yōu)化的。然而，EGP通過濾波和池來學(xué)習(xí)特征，這對(duì)于場(chǎng)景分類等復(fù)雜的圖像分類可能并不有效。此外，EGP不能自動(dòng)調(diào)整分類算法的參數(shù)，這對(duì)于不同的圖像分類任務(wù)是不靈活和有效的。

本文的總體目標(biāo)是開發(fā)一種新的基于GP的有效方法，解決EGP自動(dòng)學(xué)習(xí)有效特征和演化圖像分類集合的局限性。該方法被稱為改進(jìn)的EGP（IEGP）。為了實(shí)現(xiàn)這一目標(biāo)，IEGP將開發(fā)一個(gè)新的表示方法，包括輸入層、過濾和池層、特征提取層、連接層、分類層、組合層和輸出層。每個(gè)功能層，也就是說，除了輸入和輸出層之外，都有許多功能允許IEGP自動(dòng)演化它們的組合以形成解決方案。每個(gè)解決方案都將生成輸入圖像的類標(biāo)簽的組合預(yù)測(cè)。該方法將在13個(gè)不同難度的數(shù)據(jù)集上進(jìn)行評(píng)估，包括帶有噪聲的大型數(shù)據(jù)集。IEGP的性能將與大量的基準(zhǔn)測(cè)試方法進(jìn)行比較。將對(duì)IEGP進(jìn)行深入分析，以顯示其有效性。

新的IEGP方法的特點(diǎn)可以概括為以下五個(gè)方面。

1）在IEGP中開發(fā)了一種新的多層個(gè)體表示方法，使其能夠自動(dòng)地同時(shí)學(xué)習(xí)特征和進(jìn)化集合，用于圖像分類。新的表示有七個(gè)具有不同功能的層，這使得它不同于當(dāng)前GP的多層表示，例如在[16]和[23]中。新的表示允許IEGP從原始圖像中生成集合的解決方案，而無需人工干預(yù)和領(lǐng)域?qū)I(yè)知識(shí)。

2） IEGP可以通過多種轉(zhuǎn)換來學(xué)習(xí)高級(jí)特征，即過濾、池、復(fù)雜的特征提取函數(shù)和連接。所學(xué)習(xí)的特征對(duì)某些變化具有不變性，例如旋轉(zhuǎn)，這可以提高分類性能。

3） IEGP能夠自動(dòng)選擇和優(yōu)化進(jìn)化集成中分類算法的參數(shù)。將隨機(jī)森林中的樹個(gè)數(shù)（RF）和logistic回歸中的正則化參數(shù)（LR）作為IEGP的終端，在進(jìn)化學(xué)習(xí)過程中進(jìn)行優(yōu)化。這導(dǎo)致進(jìn)化后的集成包含有效和高效的分類器以產(chǎn)生有希望的結(jié)果。

4） IEGP可以自動(dòng)解決集成構(gòu)建時(shí)的多樣性問題，其中策略屬于輸入特征操作和學(xué)習(xí)參數(shù)操作[6]。

5） IEGP的演化解可以很容易地可視化為樹，這為目標(biāo)問題提供了很高的可解釋性，即學(xué)習(xí)什么類型的特征，使用什么分類算法來構(gòu)建集成，以及為什么它們會(huì)產(chǎn)生好的結(jié)果。

BACKGROUND AND RELATED WORK

A.? GP and Strongly Typed GP

GP是一種EC技術(shù)，能夠進(jìn)化出解決問題的計(jì)算機(jī)程序[18]。與遺傳算法（GAs）相似，GP有一個(gè)進(jìn)化學(xué)習(xí)過程來搜索最優(yōu)個(gè)體/解。與GAs不同，GP中的每個(gè)個(gè)體通常由一棵樹表示，具有內(nèi)部節(jié)點(diǎn)和末端節(jié)點(diǎn)的功能。這種表示需要一種樹的生成方法，即滿樹、生長樹和傾斜樹的一半和一半來構(gòu)建初始生成，而子樹交叉和子樹變異分別用于交叉和變異。

傳統(tǒng)的基于樹的GP對(duì)于處理一種數(shù)據(jù)類型是有效的，例如常用的函數(shù)，+，-，×，和protected%對(duì)浮點(diǎn)數(shù)進(jìn)行操作。標(biāo)準(zhǔn)GP樹的最終輸出也是一個(gè)數(shù)字。然而，對(duì)于某些任務(wù)，常常涉及多個(gè)數(shù)據(jù)類型，這就要求GP方法能夠處理多個(gè)數(shù)據(jù)類型。為此提出了強(qiáng)類型GP（STGP）[26]。STGP定義每個(gè)函數(shù)的輸入類型和輸出類型，并定義每個(gè)終端的輸出類型。當(dāng)使用函數(shù)和終端構(gòu)建GP樹時(shí)，樹的每個(gè)節(jié)點(diǎn)必須遵守類型約束，即節(jié)點(diǎn)的參數(shù)類型必須等于定義的參數(shù)類型。為了滿足類型約束并將函數(shù)和終端集成到樹中，常常需要一個(gè)程序結(jié)構(gòu)。在圖像數(shù)據(jù)方面，STGP比GP更受歡迎，因?yàn)樗梢蕴幚矶鄠€(gè)數(shù)據(jù)類型，如數(shù)組

B.? Representation of GP on Image Data

Liu等人。[27]開發(fā)了一種基于GP的方法，用于從三維序列中自動(dòng)學(xué)習(xí)時(shí)空表示以進(jìn)行動(dòng)作識(shí)別。該方法有一個(gè)新的樹表示，它包含一個(gè)輸入層、一個(gè)過濾層、一個(gè)最大池層和一個(gè)輸出層，用于從三維序列中學(xué)習(xí)信息特征。在文獻(xiàn)[17]中，提出了一種新的紋理描述GP方法，該方法利用一個(gè)新的根節(jié)點(diǎn)將子節(jié)點(diǎn)的輸出轉(zhuǎn)換為二進(jìn)制編碼。然后將二進(jìn)制碼轉(zhuǎn)換成十進(jìn)制數(shù)，并以十進(jìn)制數(shù)的直方圖作為特征。與其它紋理特征相比，該方法提取的特征具有更好的分類性能。Bianco等人。[28]開發(fā)了一種基于GP的同時(shí)視頻變化檢測(cè)算法的選擇、組合和處理方法。該方法使用變化檢測(cè)算法作為樹中的函數(shù)。但是，這些表示是特定于任務(wù)的，不能直接用于其他任務(wù)。

在從原始像素分類圖像的文獻(xiàn)中已經(jīng)發(fā)現(xiàn)GP的多層或多層表示。一般的圖像分類過程通常包括特征提取、特征選擇和分類過程。這些過程可以集成到GP樹中，使用多層或多層表示來進(jìn)化解決方案來同時(shí)處理它們。通常，每個(gè)功能層都有許多功能可供GP搜索以構(gòu)建樹。阿特金斯等人。[23]開發(fā)了用于二值圖像分類的多層GP（在[24]中稱為3TGP）。3TGP方法有圖像過濾層、聚合層和分類層，它們?cè)谝豢脴渲袌?zhí)行圖像過濾、區(qū)域檢測(cè)、特征提取、特征構(gòu)造和分類。Bi等人。[29]提出了一種多層GP方法來實(shí)現(xiàn)區(qū)域檢測(cè)，特征提取，特征構(gòu)造層，同時(shí)分類。然而，由于每棵GP樹的輸出都是一個(gè)浮點(diǎn)數(shù)，所以這些表示只能有效地解決二值圖像分類問題，這自然適合二值分類。因此，很少有人提出用多層次表示的GP進(jìn)行多類圖像分類。邵等。[16] 提出了一種多層表示的多目標(biāo)GP方法，用于學(xué)習(xí)由多個(gè)過濾和池函數(shù)轉(zhuǎn)換的特征。該方法在包括困難場(chǎng)景分類在內(nèi)的四種不同的圖像分類任務(wù)中取得了很好的效果。已有的工作表明，利用GP有效地解決圖像分類問題，表示是必不可少的。一個(gè)好的GP表示可以獲得有希望的性能，如在[16]和[17]中。但是，大多數(shù)現(xiàn)有表示僅對(duì)特定任務(wù)有效。當(dāng)一個(gè)新的任務(wù)，即集成學(xué)習(xí)，被集成到GP中時(shí)，有必要開發(fā)一個(gè)新的表示。

C. Image Feature Extraction and Learning

為了從圖像中提取信息特征，人們提出了許多有效的特征提取方法。在現(xiàn)有的方法中，最流行的方法包括LBP[13]、SIFT[15]和HOG[14]。LBP[13]是一種簡(jiǎn)單有效的紋理特征提取方法。標(biāo)準(zhǔn)LBP方法使用通過量化像素與其相鄰像素之間的關(guān)系計(jì)算出的十進(jìn)制數(shù)來標(biāo)記圖像中的每個(gè)像素。LBP標(biāo)簽的直方圖通常被提取為處理特定任務(wù)（如紋理分類[13]、[17]）的特征。為了處理某些變化，人們開發(fā)了LBP變體，例如統(tǒng)一LBP（uLBP）、完全LBP（CLBP）和局部導(dǎo)數(shù)模式（LDP）[1]。SIFT方法[15]是通過從圖像中檢測(cè)關(guān)鍵點(diǎn)，然后從檢測(cè)到的關(guān)鍵點(diǎn)中提取特征的局部特征描述方法。為了減少計(jì)算量，本文提出了一種稠密SIFT方法[30]，用以提取整個(gè)圖像的梯度大小和方向的直方圖特征，而不是每個(gè)檢測(cè)到的關(guān)鍵點(diǎn)。HOG方法與SIFT方法相比，能夠以不同的方式提取梯度方向的直方圖特征。在密集重疊網(wǎng)格中提取梯度方向的局部歸一化直方圖特征。HOG提取的特征稱為形狀和外觀特征。

與特征提取方法相比，特征學(xué)習(xí)方法能夠自動(dòng)、動(dòng)態(tài)地學(xué)習(xí)更多的信息性、有意義的特征，以解決特定的任務(wù)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是這類網(wǎng)絡(luò)的典型應(yīng)用，它通過多層非線性變換學(xué)習(xí)圖像特征。李和龔[31]在學(xué)習(xí)過程中，通過對(duì)訓(xùn)練樣本進(jìn)行權(quán)重分配，提出了一種自適應(yīng)CNN（SPCN），以增強(qiáng)CNNs的學(xué)習(xí)魯棒性。已經(jīng)開發(fā)了幾種cnn變體，如散射卷積網(wǎng)絡(luò)（ScatNet）[32]和主成分分析網(wǎng)絡(luò)（PCANet）[33]，其中使用不同的方式生成卷積濾波器。在文獻(xiàn)[34]中，提出了一種用于圖像分類的前向卷積概念神經(jīng)網(wǎng)絡(luò)（FCCNN）。Rifai等人采用了壓縮式自動(dòng)編碼器（CAE）。[35]用于數(shù)字識(shí)別。

在此過程中，采用了基于EC的方法，以獲得解決特定任務(wù)的有效特征。Fu等人。[36]開發(fā)了一種基于GP的方法來進(jìn)化能夠從圖像中檢測(cè)邊緣特征的解決方案。Albukhanajer等人。[37]應(yīng)用進(jìn)化多目標(biāo)算法優(yōu)化跟蹤變換中的函數(shù)，以提取魯棒不變的圖像特征用于目標(biāo)分類。Wei和Tang[38]開發(fā)了一種基于遺傳算法的學(xué)習(xí)對(duì)象識(shí)別的概念形狀表示方法。對(duì)形狀輪廓進(jìn)行預(yù)處理，提取重要信息并編碼到基因中，使遺傳算法能夠搜索出最優(yōu)的形狀輪廓。Mistry等人。[1] 提出了一種微GA嵌入粒子群優(yōu)化算法（PSO），對(duì)提取的水平和垂直鄰域像素比較LBP（hvnLBP）特征進(jìn)行優(yōu)化，用于人臉表情分類。

D. Ensemble Methods for Classification

集成方法已廣泛應(yīng)用于機(jī)器學(xué)習(xí)中的分類任務(wù)。Nag和Pal[39]提出了一種同時(shí)進(jìn)行特征選擇和集成進(jìn)化的多目標(biāo)GP算法。該算法將多類分類問題分解為多個(gè)二值分類任務(wù)，并為每個(gè)任務(wù)創(chuàng)建一個(gè)GP程序集。文獻(xiàn)[3]對(duì)類不平衡問題的集成方法進(jìn)行了詳細(xì)的綜述，主要方法包括成本敏感的boosting方法、booting方法、bagging方法和混合方法。Yu等人。[4] 提出了一種基于特征選擇的半監(jiān)督分類框架。在集成中，每個(gè)分類器都在一個(gè)由特征選擇方法選擇的子空間上進(jìn)行訓(xùn)練。

采用集成方法進(jìn)行圖像分類通常需要不同的設(shè)計(jì)，因?yàn)樵谝话愕姆诸惼饔?xùn)練過程之前，需要特征提取過程從原始圖像中提取有意義的特征。Dittimi和Suen[12]使用CNN提取圖像特征，并使用PCA降低特征的維數(shù)。然后選擇不同的基礎(chǔ)學(xué)習(xí)者，如RF、DT和SVMs，對(duì)其進(jìn)行特征訓(xùn)練。最后，結(jié)合這些分類器進(jìn)行預(yù)測(cè)。

基于EC的集成方法很少被提出來解決圖像分類問題。Majid等人。[40]提出了一種基于GP的方法，從正面人臉圖像中尋找性別分類的支持向量機(jī)分類器的最優(yōu)組合（合集）。該方法比使用不同核函數(shù)的單個(gè)支持向量機(jī)分類器取得了更好的效果?？梢哉业狡渌贕P或EC的方法來解決分類問題，但不能解決圖像分類問題，例如[20]和[39]。據(jù)我們所知，[25]首先介紹了一個(gè)基于GP的圖像分類自動(dòng)集成學(xué)習(xí)框架。與文獻(xiàn)[39]提出的需要人工提取圖像特征的方法不同，該方法可以自動(dòng)、同時(shí)地從圖像中學(xué)習(xí)特征并建立集合。然而，文獻(xiàn)[25]中的方法在大型圖像分類數(shù)據(jù)集上表現(xiàn)出較差的性能，這可能是由于所學(xué)習(xí)的特征不有效。此外，該方法不能自動(dòng)選擇分類算法的參數(shù)，對(duì)不同的圖像分類任務(wù)不靈活，效率不高。因此，本文對(duì)文獻(xiàn)[25]中的EGP方法進(jìn)行了很好的改進(jìn)，開發(fā)了新的個(gè)體表示、新的功能集和新的終端集，自動(dòng)學(xué)習(xí)有意義的特征，并為分類算法選擇合適的參數(shù)，建立了用于圖像分類的集合。

NEW APPROACH

傳統(tǒng)的圖像分類集成方法的一般過程如圖1所示。整個(gè)過程包括特征提取、基礎(chǔ)學(xué)習(xí)者/分類器選擇、訓(xùn)練和組合[12]。為了改善各個(gè)過程之間的聯(lián)系，本文提出了IEGP，以自動(dòng)地同時(shí)學(xué)習(xí)信息特征，并進(jìn)化出有效的圖像分類集合。如圖1所示，IEGP解決方案的輸入是圖像，輸出是類標(biāo)簽。所有的過程，例如特征提取和基礎(chǔ)學(xué)習(xí)者選擇都在一個(gè)IEGP解決方案/程序中。為此，在IEGP中開發(fā)了一種新的個(gè)體表達(dá)、新的功能集和新的終端集。本節(jié)將描述IEGP的這三個(gè)重要組件。然后概述了IEGP在圖像分類中的總體算法。

A. Novel Individual Representation

GP有一個(gè)基于樹的表示，這是已知的進(jìn)化解的可變長度。IEGP的單獨(dú)表示基于STGP[26]，其中每個(gè)函數(shù)都有輸入和輸出類型，每個(gè)終端都有輸出類型。為了定義類型約束，開發(fā)了一個(gè)新的程序結(jié)構(gòu)，如圖2所示。新的程序結(jié)構(gòu)有輸入、過濾和池、特征提取、連接、分類、組合和輸出層。除了輸入和輸出，每一層都有不同的功能。輸入層表示IEGP系統(tǒng)的輸入，例如終端。過濾和池層具有過濾和池功能，對(duì)圖像進(jìn)行操作。特征提取層利用現(xiàn)有的特征提取方法從圖像中提取信息特征。連接層將其子節(jié)點(diǎn)生成的特征連接到特征向量中。過濾和匯集、特征提取和連接層屬于特征學(xué)習(xí)過程，即從原始圖像中學(xué)習(xí)信息特征。學(xué)習(xí)到的特征可以直接輸入到任何分類算法中進(jìn)行分類。因此，分類層與連接層連接。分類層具有多種分類功能，可用于利用所學(xué)特征訓(xùn)練分類器。組合層具有多個(gè)組合函數(shù)來組合分類函數(shù)的輸出。分類和組合層屬于集成學(xué)習(xí)過程，在集成學(xué)習(xí)過程中，對(duì)分類函數(shù)進(jìn)行選擇和訓(xùn)練，并對(duì)分類器的輸出進(jìn)行組合。最后，輸出層對(duì)組合層產(chǎn)生的輸出執(zhí)行多個(gè)表決，以獲得類標(biāo)簽的組合預(yù)測(cè)。

與文獻(xiàn)[25]中EGP的程序結(jié)構(gòu)相比，IEGP的新程序結(jié)構(gòu)多了一層，即特征提取層。EGP學(xué)習(xí)到的特征來自于過濾和池操作，這些操作可能對(duì)變化（例如縮放和旋轉(zhuǎn)）不具有魯棒性。為了提高學(xué)習(xí)特征的有效性，在過濾池層和連接層之間插入特征提取層。特征提取層利用三種成熟的方法，即LBP、SIFT和HOG，從圖像中提取不變性和信息性特征，這將在第III-B節(jié)中介紹。

IEGP的示例解決方案如圖2所示，以進(jìn)一步演示新的表示。圖2示出了不同的層具有不同的功能，這將在下面的章節(jié)中介紹。在特征學(xué)習(xí)層，即濾波和池層、特征提取層和與圖像相關(guān)的算子，如LoG1、HOG和SIFT，被采用。分類層具有SVM、RF、LR等函數(shù)，與EGP相比有新的附加葉節(jié)點(diǎn)。這些葉節(jié)點(diǎn)是分類函數(shù)的重要參數(shù)。在組合層中，使用新的組合函數(shù)，例如Comb3，以靈活的方式組合預(yù)測(cè)的類標(biāo)簽。因此，圖2中的示例程序的輸出是支持向量機(jī)、RF和LR分類器的組合輸出。

1） 集成多樣性：

有四種常用的策略來增強(qiáng)集成的多樣性[6]：1）數(shù)據(jù)樣本操作；2）輸入特征操作；3）學(xué)習(xí)參數(shù)操作；4）輸出表示操作。IEGP進(jìn)化出的集成能夠自動(dòng)解決多樣性問題，其中的策略是輸入特征操作和學(xué)習(xí)參數(shù)操作。新的程序結(jié)構(gòu)允許在進(jìn)化的程序中，不同的分類功能具有不同的樹分支，如圖2所示的示例程序。不同的帶函數(shù)的樹分支可以產(chǎn)生不同的特征，形成分類函數(shù)的輸入，這就是輸入特征的操作策略。分類函數(shù)的參數(shù)作為IEGP的終端來開發(fā)，使得IEGP能夠在進(jìn)化學(xué)習(xí)過程中對(duì)參數(shù)進(jìn)行自動(dòng)微調(diào)。這是學(xué)習(xí)參數(shù)的操作。此外，新的程序結(jié)構(gòu)允許IEGP進(jìn)化相同或不同分類器的集成，這比其他具有固定分類器的集成方法（如文[6]）更靈活。

2） 表示的靈活性：新的程序結(jié)構(gòu)使IEGP能夠進(jìn)化具有不同樹大小（節(jié)點(diǎn)）和深度的程序。在新的表示中，輸入層和輸出層的樹深度固定為1。特征提取層將圖像轉(zhuǎn)換為特征，這是不可逆的數(shù)據(jù)轉(zhuǎn)換，因此該層的深度為1。類似地，分類層的深度是1，其中輸入被轉(zhuǎn)換為類標(biāo)簽。其余各層，即過濾池層、連接層和組合層，都具有靈活的樹深度，這表明樹深度可以根據(jù)問題自動(dòng)調(diào)整。這保持了IEGP所開發(fā)解決方案的靈活性。另一點(diǎn)是，篩選和池層對(duì)于特定任務(wù)可能不是必需的。因此，過濾和池層被開發(fā)為一個(gè)靈活的層，這表明它可能在進(jìn)化的IEGP程序中，也可能不在進(jìn)化的IEGP程序中。如圖2中的示例程序所示，輸入X_序列可以直接輸入到特征提取函數(shù)uLBP和HOG中，而無需任何濾波和池操作。

B. New Function Set

新的函數(shù)集有許多用于不同目的的不同函數(shù)。每一層的功能總結(jié)見表一。這些功能的介紹是從底層到頂層的。

1） 過濾和池函數(shù)：

過濾和池功能在數(shù)組上操作。它們將多個(gè)圖像作為輸入，并對(duì)每個(gè)圖像執(zhí)行相應(yīng)的操作。過濾功能保持輸出圖像的大小與輸入大小一致。池函數(shù)通過從圖像的一個(gè)小窗口中對(duì)最大值進(jìn)行子采樣來減小圖像的大小。在IEGP中，過濾和池函數(shù)與EGP中的相同[25]。Gau是由二維高斯函數(shù)Gau（x，y）=（1/2πσ2）exp[－[（x2+y2）/2σ2]]生成的高斯濾波器，其中標(biāo)準(zhǔn)偏差σ是IEGP的一個(gè)終端。GauD表示高斯函數(shù)的導(dǎo)數(shù)，其標(biāo)準(zhǔn)偏差σ分別沿x軸和y軸按（o1，o2）的順序排列。這三個(gè)參數(shù)是IEGP的終端。Gabor函數(shù)的核是根據(jù)Gabor（x，y）=Gau（x，y）*sin[（2π（cosθx+sinθy））/λ+Ψ]生成的。頻率f（1/λ）和方向θ作為IEGP的終端。Lap是Laplacian濾波器，常用于檢測(cè)平坦區(qū)域。在Laplacian產(chǎn)生的結(jié)果是噪聲的情況下，利用高斯濾波器的Laplacian對(duì)Laplacian產(chǎn)生的圖像進(jìn)行卷積。LoG1和LoG2是高斯濾波器的Laplacian，其中高斯函數(shù)的σ分別為1和2。SobelX、SobelY和Sobel對(duì)圖像進(jìn)行邊緣檢測(cè)。HOG-F和LBP-F生成具有信息特征的HOG和LBP圖像。通過分別返回每個(gè)3×3滑動(dòng)窗口的中值、平均值、最小值和最大值，Med、Mean、Min和Max卷積圖像。Sqrt返回每個(gè)像素值的Sqrt根，如果像素值為負(fù)，則通過返回1進(jìn)行保護(hù)。W-加法和W-Sub以兩幅圖像和兩個(gè)權(quán)重作為輸入，計(jì)算圖像的加權(quán)和或減法。在輸入圖像有不同大小的情況下，這兩個(gè)函數(shù)在左上角重疊兩個(gè)圖像并將其剪切為具有相同大小的和或減。如果像素值為負(fù)，ReLU返回0；否則，它返回像素值。

2） 特征提取函數(shù)：

將三種常用的特征提取方法uLBP[13]、HOG[14]和SIFT[15]作為IEGP的功能開發(fā)出來。這些函數(shù)將輸入圖像轉(zhuǎn)換為一組有效特征，這些特征對(duì)某些變化是不變的。uLBP函數(shù)提取LBP圖像的59個(gè)直方圖特征。在uLBP中，鐳被設(shè)置為1.5，鄰域數(shù)被設(shè)置為8[13]。HOG函數(shù)從HOG圖像中提取每個(gè)4×4網(wǎng)格的平均值，形成特征向量。HOG方法的參數(shù)與[14]中的參數(shù)相同。SIFT函數(shù)通過將圖像作為關(guān)鍵點(diǎn)為每個(gè)圖像生成128個(gè)特征[30]。值得注意的是，這三個(gè)函數(shù)產(chǎn)生了不同數(shù)量的特征。

3） 連接函數(shù)：

IEGP中的連接函數(shù)不同于EGP方法中的連接函數(shù)[25]。FeaCon2、FeaCon3和FeaCon4函數(shù)分別通過串聯(lián)將兩個(gè)、三個(gè)和四個(gè)向量轉(zhuǎn)換為向量。連接函數(shù)可以將特征提取函數(shù)或連接函數(shù)作為其子節(jié)點(diǎn)，表示每個(gè)連接函數(shù)產(chǎn)生一個(gè)特征組合。

4） 分類函數(shù)：

任何常用的分類算法都可以作為IEGP分類層的功能開發(fā)。為了縮小搜索空間，先前的EGP方法[25]采用了六種分類算法，即LR、k近鄰（KNN）、支持向量機(jī)、RF、極隨機(jī)樹（ERF）和AdaBoost。然而，由于KNN是一種基于實(shí)例的方法，并且在訓(xùn)練數(shù)據(jù)較大時(shí)計(jì)算量較大，因此在IEGP中沒有使用KNN函數(shù)。AdaBoost方法在圖像分類方面的性能較差[25]，因此它被從函數(shù)集中移除。因此，IEGP只使用四個(gè)分類函數(shù)。它們是LR、SVM、RF和ERF，包括線性分類法和基于樹的分類法。注意，RF和ERF是集成方法，IEGP方法可以構(gòu)建集成。

以往的EGP方法對(duì)分類函數(shù)的參數(shù)進(jìn)行了修正，對(duì)不同任務(wù)的求解效率不高。因此，將LR、支持向量機(jī)、RF和ERF的關(guān)鍵參數(shù)作為IEGP的終端，使它們的值在進(jìn)化過程中自動(dòng)生成或優(yōu)化。這些關(guān)鍵參數(shù)及其范圍在第III-C節(jié)中介紹。

5） 組合函數(shù)：

以前的EGP方法[25]多次進(jìn)行投票，計(jì)算量大。為了解決這個(gè)問題，IEGP開發(fā)了三個(gè)新的功能，以有效地組合分類器。函數(shù)是Comb3、Comb5和Comb7，它們以3、5和7類標(biāo)簽作為輸入，并將這些標(biāo)簽連接起來形成輸出。這些函數(shù)可以是GP樹的根節(jié)點(diǎn)或內(nèi)部節(jié)點(diǎn)，GP樹表示組合分類器的不同方式，如圖3所示。在圖3的左示例（集成1）中，Comb3函數(shù)用作根節(jié)點(diǎn)。Comb3的輸入分別是SVM的1、RF的1和LR的0。Comb3函數(shù)組合這些輸入并返回110。在圖3的右檢查例（集成2）中，Comb3是內(nèi)部節(jié)點(diǎn)，Comb5是根節(jié)點(diǎn)。來自SVM、RF、Comb3、ERF和LR節(jié)點(diǎn)的Comb3輸出為012，Comb5輸出為31001221。在從根節(jié)點(diǎn)獲得輸出之后，進(jìn)行多個(gè)投票以產(chǎn)生實(shí)例/圖像的預(yù)測(cè)類標(biāo)簽。如圖3所示，集成1的最終輸出（類標(biāo)簽）是1（來自110），集成2的最終輸出（類標(biāo)簽）是1（來自3101221）。

C. New Terminal Set

終端集表示IEGP系統(tǒng)的輸入。表二列出了IEGP的終端及其范圍。X嬡train={Xi}Ni=1表示N個(gè)輸入訓(xùn)練圖像，Y嬡train={Yi}Ni=1表示N個(gè)圖像的類標(biāo)簽。在Xútrain中，Xi表示尺寸為M×L的圖像，其中圖像中的像素值在[0，1]的范圍內(nèi)。在Yúu列中，Yi是表示類標(biāo)簽的整數(shù)。σ、o1、o2、θ、n1、n2、k1和k2終端是濾波和池層中特定功能的參數(shù)，它們的值分別在常用范圍內(nèi)[25]。

分類功能的重要參數(shù)被設(shè)計(jì)為IEGP的終端。參數(shù)為C、NT和MD，C端為整數(shù)，與分類函數(shù)LR和支持向量機(jī)的懲罰項(xiàng)/參數(shù)有關(guān)。C的范圍被設(shè)置為[-2，5][43]，從而得到{10-2，10-1，…]范圍內(nèi)的懲罰項(xiàng)/參數(shù)（10C）。，104，105}。根據(jù)文獻(xiàn)[6]，DTs的個(gè)數(shù)和最大樹深是RF和ERF的兩個(gè)重要參數(shù)。因此，它們被發(fā)展為終端NT和MD。NT的值在[50，500]的范圍內(nèi)（步長為10），MD的值在[10，100]的范圍內(nèi)（步長為10）。NT和MD的最大值根據(jù)[6]中的設(shè)置。為了降低計(jì)算成本，需要為RF和ERF找到更小的NT和MD。此外，為了避免IEGP的搜索空間過大，使用了10步。

D. Overall Algorithm

通過新的程序結(jié)構(gòu)、新的功能集和新的終端集，IEGP可以自動(dòng)學(xué)習(xí)用于圖像分類的特征和集合。算法1描述了IEGP的總體算法?？傮w算法（包括訓(xùn)練和測(cè)試過程）的流程圖如圖4所示。

IEGP方法首先使用混合法（the ramped half-and-half method）隨機(jī)初始化總體P0。P0中的每個(gè)個(gè)體都由適應(yīng)度函數(shù)進(jìn)行評(píng)價(jià)。在進(jìn)化學(xué)習(xí)過程中（g代），利用精英、子樹交叉和子樹變異算子建立新的種群Pg，并對(duì)新的種群Pg進(jìn)行評(píng)價(jià)。當(dāng)g等于最大代數(shù)時(shí)，進(jìn)化學(xué)習(xí)過程停止，并返回最佳個(gè)體（集成）作為輸出。

在進(jìn)化學(xué)習(xí)過程中，使用子樹緩存方法來減少評(píng)估時(shí)間，因?yàn)橐阎狦P對(duì)圖像數(shù)據(jù)的計(jì)算代價(jià)很高[44]。緩存選項(xiàng)卡用于存儲(chǔ)個(gè)人及其適應(yīng)度值。在第0代中，Cache_表用適應(yīng)值存儲(chǔ)P0。在g代，Cache_表存儲(chǔ)了上一代的最佳個(gè)體和g-1代的所有個(gè)體[44]。為了在g（g>1）處計(jì)算單個(gè)o，在Cache_表中進(jìn)行搜索，以檢查o之前是否計(jì)算過。如果o在Cache_表中，則fitness值直接分配給o，否則，使用fitness函數(shù)計(jì)算o。一般來說，任何個(gè)體都可以存儲(chǔ)在Cache_Table中，但是應(yīng)該考慮個(gè)體的搜索時(shí)間和評(píng)估時(shí)間之間的折衷。因此，在IEGP中，Cache_Table的大小被設(shè)置為5×Np（Np是總體大小），這與[25]中的相同。

1） 訓(xùn)練過程及適應(yīng)度函數(shù)：在IEGP的訓(xùn)練過程中，將訓(xùn)練數(shù)據(jù)X~u訓(xùn)練和Y~u訓(xùn)練輸入IEGP系統(tǒng)。因?yàn)槊總€(gè)IEGP樹/個(gè)體中的分類函數(shù)都有一個(gè)訓(xùn)練過程。在IEGP的訓(xùn)練過程中，我們采用交叉驗(yàn)證（X_訓(xùn)練和Y_訓(xùn)練）來建立和評(píng)估分類器。對(duì)于進(jìn)化的IEGP樹中的每個(gè)分類函數(shù)，每次使用k-1組訓(xùn)練分類器，剩余的一個(gè)組用于測(cè)試分類器。記錄一個(gè)組的預(yù)測(cè)類標(biāo)簽。此過程重復(fù)k次以獲取X_列中每個(gè)實(shí)例的預(yù)測(cè)類標(biāo)簽。根據(jù)[6]，k的值被設(shè)置為3。然后，來自不同節(jié)點(diǎn)的預(yù)測(cè)類標(biāo)簽（分類函數(shù)）被組合函數(shù)組合并由多個(gè)投票表決，以形成輸出Y}u預(yù)測(cè)。

IEGP的適應(yīng)度函數(shù)是分類精度，即正確分類的圖像數(shù)占訓(xùn)練集中圖像總數(shù)的百分比。在IEGP中，根據(jù)Y_預(yù)測(cè)和Y_訓(xùn)練計(jì)算分類精度。

2） 測(cè)試過程：測(cè)試過程是評(píng)估一個(gè)不可見數(shù)據(jù)集上的最佳IEGP樹。在這一過程中，最優(yōu)IEGP樹中的分類算法使用轉(zhuǎn)換后的X~u列和Y~u列進(jìn)行訓(xùn)練，無需交叉驗(yàn)證（X~u列被IEGP樹中的某些節(jié)點(diǎn)轉(zhuǎn)換為特征）。然后將IEGP樹作為訓(xùn)練分類器的集合應(yīng)用于未觀測(cè)數(shù)據(jù)X_檢驗(yàn)，得到類標(biāo)簽。基于類標(biāo)簽，計(jì)算并報(bào)告測(cè)試集的精度。

IV. EXPERIMENT DESIGN

為了證明新方法的有效性，進(jìn)行了大量的實(shí)驗(yàn)。本節(jié)介紹了實(shí)驗(yàn)的詳細(xì)設(shè)計(jì)

A. Datasets

為了驗(yàn)證該方法的有效性，實(shí)驗(yàn)中使用了13個(gè)不同難度的著名基準(zhǔn)數(shù)據(jù)集。這9個(gè)數(shù)據(jù)集與[25]中使用的數(shù)據(jù)集相同。在這9個(gè)數(shù)據(jù)集的基礎(chǔ)上，采用4個(gè)新的訓(xùn)練和測(cè)試數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。因此，在實(shí)驗(yàn)中，使用了13個(gè)數(shù)據(jù)集，分別是FEI?1[45]、FEI?2[45]、JAFFE[46]、ORL[47]、KTH（KTH-TIPS2）[48]、FS（13個(gè)自然場(chǎng)景類別）[49]、MB（mnist basic）[50]、MRD（mnist rot）[50]、MBR（mnist back rand）[50]、MBI（mnist back image）[50]、矩形[50]、RI（矩形圖像）[50]和凸（凸集）[50]。這些數(shù)據(jù)集包括各種各樣的圖像分類任務(wù)，即面部表情分類：FEI-1、FEI-2和JAFFE；面部識(shí)別：ORL；紋理分類：KTH；場(chǎng)景分類：FS；對(duì)象分類：MB、MRD、MBR、MBI、矩形、RI和凸面。在目標(biāo)分類任務(wù)中，包含不同的圖像變化，如MBR和RI中的隨機(jī)背景、MRD中的旋轉(zhuǎn)和MBI中的附加圖像背景。圖像分類任務(wù)的多樣性和圖像的變化是選擇這些基準(zhǔn)數(shù)據(jù)集的兩個(gè)主要考慮因素，可以用來綜合研究該方法在不同類型的圖像分類任務(wù)上的性能。

表三列出了13個(gè)數(shù)據(jù)集的詳細(xì)信息。為了簡(jiǎn)化，所有的數(shù)據(jù)集都被編號(hào)。將數(shù)據(jù)集1-6的圖像調(diào)整大小或轉(zhuǎn)換為灰度圖像，以降低計(jì)算成本。5–7顯示了13個(gè)數(shù)據(jù)集的幾個(gè)示例圖像。數(shù)據(jù)集1-6按一定比例分割，形成訓(xùn)練集和測(cè)試集。根據(jù)數(shù)據(jù)集的大小設(shè)置比例，得到一個(gè)均衡的訓(xùn)練集。每類數(shù)據(jù)集1-6的訓(xùn)練圖像數(shù)量如表3的括號(hào)所示。相比之下，數(shù)據(jù)集7-13是公共數(shù)據(jù)集，具有表3所列的獨(dú)立訓(xùn)練和測(cè)試集，可直接用于實(shí)驗(yàn)。

Benchmark Methods

大量有效的算法被用作比較的基準(zhǔn)方法，以證明IEGP的有效性。由于數(shù)據(jù)集7-13具有公共訓(xùn)練和測(cè)試集，因此文獻(xiàn)中報(bào)告的測(cè)試精度可直接用于比較，而無需重新實(shí)施方法。我們從數(shù)據(jù)集7-13的相關(guān)參考資料中收集了這些結(jié)果。因此，數(shù)據(jù)集7-13上有19種比較方法，即SVM+RBF[50]、SVM+Poly[50]、SAE-3[35]、DAE-b-3[35]、CAE-2[35]、SPAE[51]、RBM-3[35]、ScatNet-2[32]、[33]、RANNET-2[33]、PCANet-2（softmax）[33]、LDANet-2[33]、NNet[50]、SAA-3[50]、FCCNN[34]、FCCNN（含BT）[34]、SPCN[31]、EGP[25]和EvoCNN[52]。需要注意的是，這些方法大多是基于神經(jīng)網(wǎng)絡(luò)的方法，并且在一些方法中進(jìn)行了參數(shù)整定，以獲得良好的分類性能。

對(duì)于數(shù)據(jù)集1-6，我們使用13種不同的基準(zhǔn)方法進(jìn)行比較。這13種基準(zhǔn)方法包括傳統(tǒng)的圖像分類方法，其目的是全面研究IEGP是否能夠?qū)W習(xí)信息特征并進(jìn)化出有效的圖像分類集合。這些基準(zhǔn)方法是使用原始像素的六種分類算法，即SVM、KNN、LR、RF、AdaBoost和ERF，使用不同特征的四種SVM方法，即uLBP+SVM、LBP+SVM、HOG+SVM和SIFT+SVM，兩種CNN，即CNN-5和CNN-8，以及之前的EGP方法[25]。支持向量機(jī)、KNN、LR、RF、AdaBoost和ERF方法以原始像素為輸入，訓(xùn)練分類器進(jìn)行分類。uLBP+SVM、LBP+SVM、HOG+SVM和SIFT+SVM方法分別使用uLBP、LBP、HOG和SIFT特征作為輸入，并使用這些特征訓(xùn)練分類器。兩種CNN方法有不同的體系結(jié)構(gòu)，即5層（CNN-5）和8層（CNN-8）。關(guān)于這些方法的更多細(xì)節(jié)見[25]。

C. Parameter Settings

IEGP的參數(shù)設(shè)置是GP社區(qū)中常用的設(shè)置，與EGP[25]，[53]的參數(shù)設(shè)置相同。種群規(guī)模為100，最大世代數(shù)為50代。精英率為0.01，交叉率為0.8，突變率為0.19。在進(jìn)化學(xué)習(xí)過程中，使用規(guī)模為7的錦標(biāo)賽選擇來選擇個(gè)體進(jìn)行變異和交叉。樹的深度在2到8之間。在IEGP中，類型約束的優(yōu)先級(jí)高于深度約束，因此在某些情況下樹的深度可能超過8。請(qǐng)注意，我們?cè)诓煌臄?shù)據(jù)集上為IEGP使用相同的參數(shù)設(shè)置，盡管調(diào)整/優(yōu)化參數(shù)可以提高其性能。

IEGP的實(shí)現(xiàn)是在Python中使用DEAP（Python中的分布式進(jìn)化算法）[54]包。IEGP中分類算法和基準(zhǔn)方法的實(shí)現(xiàn)基于scikit learn pack-age[55]和Keras package[56]。請(qǐng)注意，這些分類算法的其他參數(shù)（優(yōu)化的參數(shù)除外）是scikit learn for simplification中的默認(rèn)設(shè)置。[25]中描述了數(shù)據(jù)集1-6上基準(zhǔn)方法的參數(shù)設(shè)置。IEGP在每個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)獨(dú)立運(yùn)行了30次，并在測(cè)試集上測(cè)試了每次運(yùn)行的最佳樹

RESULTS AND DISCUSSION

本節(jié)討論并分析了所提出的IEGP方法和包括EGP方法在內(nèi)的基準(zhǔn)方法在13個(gè)數(shù)據(jù)集上的分類性能。

A. Classification Accuracy on Datasets 1–6

分類結(jié)果，即最大精度（Max），平均精度，表四列出了用IEGP法和水準(zhǔn)點(diǎn)法對(duì)6個(gè)數(shù)據(jù)集進(jìn)行30次運(yùn)行的標(biāo)準(zhǔn)差（平均值±標(biāo)準(zhǔn)偏差）。用5%顯著性水平的Wilcoxon秩和檢驗(yàn)將IEGP法與基準(zhǔn)法進(jìn)行比較，以顯示差異的顯著性。表4中的符號(hào)“+”、“-”和“=”表示IEGP明顯優(yōu)于、明顯低于或類似于基準(zhǔn)方法。每個(gè)表的最后一行匯總了顯著性測(cè)試的總體結(jié)果。各數(shù)據(jù)集的最佳精度和平均精度在表四中用粗體突出顯示。

表四顯示，所提出的IEGP方法在面部表情分類任務(wù)feiu1和feiu2上的性能明顯優(yōu)于或類似于任何基準(zhǔn)方法。IEGP在這兩個(gè)數(shù)據(jù)集上找到了100%的最佳精度。雖然RF在FEIú1上的平均精度最高，EGP在FEIú2上的平均精度最高，但I(xiàn)EGP與EGP或RF在兩個(gè)數(shù)據(jù)集上的性能沒有顯著差異，表明IEGP在兩個(gè)二值分類數(shù)據(jù)集上的性能與最佳方法相似。

表4中對(duì)JAFFE和ORL數(shù)據(jù)集的分類結(jié)果表明，IEGP比JAFFE上的8種方法和ORL上的任何一種基準(zhǔn)方法都取得了顯著的效果。JAFFE是一個(gè)有七種表情的面部表情分類任務(wù)，在那里學(xué)習(xí)信息特征是困難的。IEGP可以比JAFFE上的大多數(shù)基準(zhǔn)方法獲得可比的性能。在ORL數(shù)據(jù)集上，IEGP明顯優(yōu)于任何基準(zhǔn)方法。ORL是一個(gè)40類的人臉識(shí)別任務(wù)，訓(xùn)練圖像數(shù)量很少，這對(duì)一些需要大量訓(xùn)練實(shí)例的方法來說是一個(gè)挑戰(zhàn)，如CNN-5和CNN-8。IEGP在ORL上發(fā)現(xiàn)了100%的最佳準(zhǔn)確率和98.29%的最佳平均準(zhǔn)確率，表明IEGP在少量訓(xùn)練實(shí)例的數(shù)據(jù)集上的有效性。

表4中對(duì)KTH和FS數(shù)據(jù)集的分類結(jié)果表明，IEGP比包括EGP方法在內(nèi)的任何一種基準(zhǔn)方法都取得了顯著的效果。KTH數(shù)據(jù)集具有紋理圖像，F(xiàn)S數(shù)據(jù)集具有自然場(chǎng)景圖像。支持向量機(jī)、KNN、LR、RF和AdaBoost方法對(duì)這兩個(gè)數(shù)據(jù)集的分類精度都很低，說明用原始像素對(duì)這兩個(gè)數(shù)據(jù)集進(jìn)行分類是不有效的。然而，簡(jiǎn)單的特征提取并不能提高準(zhǔn)確率，因?yàn)閡LBP+SVM、LBP+SVM、HOG+SVM和SIFT+SVM方法的準(zhǔn)確率也很低。IEGP具有自動(dòng)學(xué)習(xí)特征和進(jìn)化集成分類的特點(diǎn)，在KTH和FS兩個(gè)數(shù)據(jù)集上分別取得了98.48%和92.45%的最大準(zhǔn)確率。重要的是，IEGP在KTH和FS上的平均準(zhǔn)確率分別提高了13.72%和28.56%。結(jié)果表明，IEGP在紋理分類和場(chǎng)景分類中都是非常有效的。

表五總結(jié)了在六個(gè)數(shù)據(jù)集上比較不同基準(zhǔn)方法的顯著性檢驗(yàn)的總體結(jié)果。IEGP在33個(gè)比較（案例A）中取得了明顯好于6個(gè)原始像素分類算法的效果，這表明IEGP可以學(xué)習(xí)信息特征以實(shí)現(xiàn)有效的圖像分類。與使用uLBP、LBP、SIFT和HOG特征作為支持向量機(jī)輸入的四種方法（在案例B中）相比，IEGP取得了明顯的優(yōu)于或相似的結(jié)果。結(jié)果表明，IEGP通過學(xué)習(xí)信息特征和進(jìn)化集合進(jìn)行分類，比四種方法更有效。與CNN-5和CNN-8（案例C）相比，IEGP僅在一次比較中獲得顯著的差結(jié)果，這表明IEGP比簡(jiǎn)單的CNN方法更有效。與CNN方法相比，IEGP的主要優(yōu)點(diǎn)是演化解的長度和深度靈活。IEGP不需要預(yù)先定義模型/解決方案結(jié)構(gòu)（復(fù)雜性），因?yàn)樗軌蛟谶M(jìn)化學(xué)習(xí)過程中找到合適的模型。IEGP的表現(xiàn)明顯優(yōu)于或類似于EGP（在案例D中）。與EGP方法相比，IEGP方法具有新的表示形式、新的函數(shù)集和新的終端集，可以學(xué)習(xí)更有效的特征，找到更適合的分類算法和合適的參數(shù)，形成分類集合

B. Classification Accuracy on Datasets 7–13

表六列出了數(shù)據(jù)集7-13的分類準(zhǔn)確度百分比。在這些數(shù)據(jù)集上，采用19種方法進(jìn)行比較，結(jié)果從相應(yīng)的參考文獻(xiàn)中收集。請(qǐng)注意，這19種方法中的某些方法在某些數(shù)據(jù)集上可能沒有結(jié)果，例如RI、矩形和凸面。在表VI中，每列顯示一個(gè)數(shù)據(jù)集上所有這些方法的結(jié)果。IEGP得到的結(jié)果列在表的底部。因?yàn)榇蠖鄶?shù)基準(zhǔn)測(cè)試方法只報(bào)告了這些數(shù)據(jù)集的最佳結(jié)果，所以我們使用最佳結(jié)果將IEGP與它們進(jìn)行比較。在表六中，符號(hào)“+”表示IEGP比相應(yīng)的基準(zhǔn)方法獲得更好的精度。表VI的最后兩行總結(jié)了IEGP在所有這些基準(zhǔn)方法中的排名結(jié)果。

表六顯示，IEGP在矩形和凸形兩個(gè)數(shù)據(jù)集上的分類結(jié)果比任何基準(zhǔn)方法都好。在MB、MRD和RI數(shù)據(jù)集上，IEGP的最佳精度在所有方法中排名第二，這表明只有一種方法比IEGP在三種數(shù)據(jù)集中的任何一種獲得更好的精度。在剩余的兩個(gè)數(shù)據(jù)集上，即MBR和MBI，IEGP的最佳精度在所有方法中排名第三，這表明只有兩個(gè)方法在這兩個(gè)數(shù)據(jù)集上的精度優(yōu)于IEGP。重要的是，IEGP在凸面上的精度提高了2.45%。IEGP在矩形數(shù)據(jù)集上達(dá)到了100%的精度，盡管它只比基準(zhǔn)方法的最佳結(jié)果高出0.01%。請(qǐng)注意，這些基準(zhǔn)測(cè)試方法已經(jīng)在這些數(shù)據(jù)集上進(jìn)行了廣泛的探索，因此，即使精度提高1%，也很難實(shí)現(xiàn)。

在MB上，除了LDANet-2之外，IEGP方法比18個(gè)基準(zhǔn)方法中的任何一個(gè)都獲得更好（或相同）的結(jié)果。IEGP的最大準(zhǔn)確度為98.82%，略低于LDANet-2的98.95%。雖然IEGP在MB上取得的結(jié)果比LDANet-2差，但在其他六個(gè)數(shù)據(jù)集上取得了更好的結(jié)果。MB的三個(gè)變體，即MRD、MBR和MBI，通過添加變化因子（包括旋轉(zhuǎn)和背景變化）比MB更難實(shí)現(xiàn)。在MRD上，IEGP比除EvoCNN外的任何18種基準(zhǔn)方法獲得更好（或相同）的結(jié)果。在MBR和MBI上，IEGP優(yōu)于18種基準(zhǔn)方法中的任何一種，除了基于CNN的SPCN和EvoCNN方法。在這兩個(gè)數(shù)據(jù)集上，SPCN比IEGP更有效，但在其他四個(gè)數(shù)據(jù)集上效果較差。特別是IEGP對(duì)MRD的準(zhǔn)確率達(dá)到94.28%，遠(yuǎn)高于SPCN的90.19%。EvoCNN是一種最先進(jìn)的基于CNN的方法，通過自動(dòng)進(jìn)化CNN的架構(gòu)。與EvoCNN相比，IEGP在困難數(shù)據(jù)集MBR和MBI上的效果較差，而在MB、矩形和凸數(shù)據(jù)集上的效果較好（相同）。這表明IEGP作為一種純GP方法在圖像分類中是有效的和有前途的。在矩形數(shù)據(jù)集上，IEGP達(dá)到100%的精度。RI作為矩形的變體更為困難。除EvoCNN外，IEGP在RI上的所有方法中獲得了最佳的準(zhǔn)確性。但EvoCNN和IEGP在RI上的最佳結(jié)果差別很小，分別為94.97%（EvoCNN）和94.88%（IEGP）。在凸數(shù)據(jù)集上，IEGP得到了98.26%的最佳精度，比EvoCNN的精度高3%

與EGP相比，IEGP對(duì)大規(guī)模數(shù)據(jù)集的分類更為有效。在MB、矩形和凸三種數(shù)據(jù)集上，IEGP取得了比EGP更好的結(jié)果。重要的是，IEGP在凸面上的最大精度為98.26%，比EGP高4%。為了進(jìn)一步比較EGP和IEGP，圖8示出了EGP和IEGP在MB、矩形和凸面數(shù)據(jù)集上的訓(xùn)練精度和測(cè)試精度的分布。從這個(gè)圖中可以清楚地看出，IEGP在三個(gè)數(shù)據(jù)集上的準(zhǔn)確度和中位數(shù)都遠(yuǎn)高于EGP。這表明IEGP比EGP具有更好的性能。此外，IEGP得到的結(jié)果比EGP得到的結(jié)果更加聚類，說明IEGP比EGP更穩(wěn)定。結(jié)果表明，IEGP通過新的圖像表示和新的圖像分類函數(shù)集，顯著地改進(jìn)了EGP方法。

FURTHER ANALYSIS

VI.進(jìn)一步分析

本節(jié)通過IEGP分析進(jìn)化樹/解決方案，以進(jìn)一步理解提取的特征以及在進(jìn)化集成方法中構(gòu)建的用于圖像分類分類器。

A.示例解決方案可視化Visualization of Example Solutions

1）MRD上的示例解決方案：由于IEGP在MRD數(shù)據(jù)集上獲得了最佳結(jié)果，因此最好的程序/解決方案是從MRD中選擇進(jìn)行分析和可視化。最佳解決方案如圖9所示。該解決方案在MRD訓(xùn)練集上達(dá)到93.8％的準(zhǔn)確度，在測(cè)試集上達(dá)到94.28％的準(zhǔn)確度。注意，示例解決方案用于測(cè)試，以便將X_train節(jié)點(diǎn)替換為Images節(jié)點(diǎn)，并刪除Y_train節(jié)點(diǎn)進(jìn)行簡(jiǎn)化。從圖9可以清楚地看到，示例解決方案是三個(gè)具有不同參數(shù)的ERF分類器的集合。左分類器和右分類器具有450DT，最大樹深度為60，而中分類器具有450 DT，最大樹深度為30。很明顯，示例解決方案是一個(gè)集成的集成。

如圖所示，很明顯，三個(gè)分類器是使用不同的特征進(jìn)行訓(xùn)練的。第一個(gè)分支使用的功能是128個(gè)SIFT特征和59個(gè)uLBP特征的組合。在使用SIFT和uLBP提取特征之前，將使用Sqrt函數(shù)或Gau函數(shù)（標(biāo)準(zhǔn)偏差為1）處理每個(gè)圖像。第二分支使用經(jīng)過相應(yīng)轉(zhuǎn)換（例如Sqrt，Max，Gau和MaxP）后從圖像提取的256（128×2）個(gè)SIFT特征。第三分支使用128個(gè)SIFT特征和59個(gè)uLBP特征進(jìn)行分類。在特征提取之前，使用Sqrt函數(shù)和Gau函數(shù)對(duì)圖像進(jìn)行縮放和平滑。SIFT和uLBP函數(shù)將處理后的圖像轉(zhuǎn)換為特征，然后將這些特征輸入到分類函數(shù)中。通過這種分析，很明顯，每個(gè)分支在進(jìn)行相應(yīng)的過濾或合并操作后都會(huì)從圖像中提取各種數(shù)量和類型的特征，并使用這些特征構(gòu)建不同的分類器。這表明示例解決方案中每個(gè)分類器的輸入都是不同的，這增強(qiáng)了集合中分類器的多樣性。

2）MBR上的示例解決方案：MBR數(shù)據(jù)集上的示例解決方案如圖10所示。該解決方案在訓(xùn)練集上的準(zhǔn)確度達(dá)到93.38％，在測(cè)試集上達(dá)到93.21％的準(zhǔn)確度。與圖9中的解決方案不同，其中集合中的分類器是通過相同的分類算法訓(xùn)練的，此示例解決方案是三個(gè)通過不同分類算法訓(xùn)練的分類器的集合。這表明IEGP可以演化出相同或不同分類器的集成，這對(duì)于解決不同任務(wù)非常靈活。在圖10的集合中，第一個(gè)分類器是ERF，具有480個(gè)DT，最大樹深度為90。第二個(gè)分類器是SVM，懲罰參數(shù)的值為10^-1。第三個(gè)分類器是LR，懲罰參數(shù)的值為10。從圖10中可以看出，這三個(gè)分類器是在其子分支中使用不同特征提取函數(shù)提取的特征進(jìn)行訓(xùn)練的。從該數(shù)據(jù)集中提取的特征是SIFT特征和HOG特征的組合。同時(shí)，在特征提取之前，采用了不同的過濾功能來處理圖像。 因此，三個(gè)分類器的不同輸入進(jìn)一步增強(qiáng)了所構(gòu)建集合的多樣性。

B.對(duì)示例解決方案的進(jìn)一步分析Further Analysis of Example Solutions

為了進(jìn)一步分析圖9和圖10中的示例集合的性能，我們分別在MRD和MBR的測(cè)試集上計(jì)算示例集合中每個(gè)分類器的準(zhǔn)確性。表VII列出了通過示例集成獲得的結(jié)果（第二行）和每個(gè)分類器在9和10（第三至第五行）中圈出的分支中獲得的結(jié)果。另外，我們使用原始像素作為輸入來訓(xùn)練三種分類算法，這些算法用于構(gòu)建圖9和10中的示例集合。并使用簡(jiǎn)單多數(shù)投票建立訓(xùn)練好的分類器的新集成。VII的最后兩行列出了通過該集成獲得的結(jié)果。圖9中的集合在MRD的測(cè)試集上達(dá)到94.28％的精度，圖10中的集合在MBR的測(cè)試集上達(dá)到93.21％的精度，這比三個(gè)單一分類器或使用原始像素的集合中的任何一個(gè)都要好，如表VII所示。將示例與單個(gè)分類器進(jìn)行比較，我們可以發(fā)現(xiàn)，使用投票功能將這三個(gè)分類器組合在一起可以提高分類的準(zhǔn)確性。原因可能是IEGP在進(jìn)化過程中自動(dòng)選擇分類函數(shù)以構(gòu)建整體，從而導(dǎo)致分類器的良好組合。這表明IEGP可以找到比單個(gè)分類器更好的整體性能。比較圖9和10中的示例集合和在表VII的最后兩行列出了新的集成，很明顯，特征提取對(duì)于改善分類性能是必要且重要的。使用原始像素構(gòu)建的分類器集合在MRD上僅達(dá)到88.51％，在MBR上僅達(dá)到66.04％，遠(yuǎn)低于IEGP發(fā)現(xiàn)的集合。這表明IEGP所學(xué)習(xí)的功能比原始像素更具判別力，并且可以進(jìn)一步提高集成的性能。這表明使用提議的IEGP方法學(xué)習(xí)有效功能的目標(biāo)之一已成功實(shí)現(xiàn)。

總而言之，進(jìn)一步的分析表明，IEGP發(fā)現(xiàn)的集成通過使用不同的特征來建立分類器以形成集成而具有很高的多樣性。分析表明，IEGP可以找到使用相同或不同分類算法訓(xùn)練的分類器的集合。分析還表明，IEGP可以找到分類器的良好集合，以實(shí)現(xiàn)比單個(gè)分類器更高的泛化性能。 此外，與用于分類圖像的原始像素相比，IEGP所學(xué)習(xí)的特征更具區(qū)分性。

conclusion：

本文的目標(biāo)是開發(fā)一種新的基于GP的方法來自動(dòng)學(xué)習(xí)有效的特征并進(jìn)化集合用于圖像分類。通過開發(fā)具有新的個(gè)體表示、新的函數(shù)集和新的終端集的IEGP方法，成功地實(shí)現(xiàn)了這個(gè)目標(biāo)。通過新的多層表示，IEGP方法可以學(xué)習(xí)信息特征并進(jìn)化出各種分類算法的集合。進(jìn)化集成中的分類算法參數(shù)可以在進(jìn)化過程中自動(dòng)優(yōu)化/調(diào)整。利用基于樹的柔性表示方法，IEGP自動(dòng)解決了信號(hào)群的多樣性問題。此外，集合演化解具有靈活的長度或深度，適合于處理不同類型的圖像分類任務(wù)。

對(duì)13個(gè)不同難度的圖像分類數(shù)據(jù)集，包括人臉表情分類、人臉識(shí)別、場(chǎng)景分類、紋理分類和對(duì)象分類，測(cè)試了IEGP的性能。對(duì)比結(jié)果表明，IEGP比傳統(tǒng)的使用預(yù)抽取特征或原始像素的方法更有效。在大規(guī)模數(shù)據(jù)集（即數(shù)據(jù)集7-13）中，IEGP比所有基準(zhǔn)方法在兩個(gè)數(shù)據(jù)集上取得了更好的結(jié)果，在三個(gè)數(shù)據(jù)集上排名第二，在其余兩個(gè)數(shù)據(jù)集上排名第三。與以往的EGP方法相比，IEGP在小規(guī)模數(shù)據(jù)集上取得了更好或相似的結(jié)果，在大規(guī)模數(shù)據(jù)集上取得了更好的結(jié)果。通過對(duì)EGP和IEGP在訓(xùn)練和測(cè)試結(jié)果分布方面的比較，表明IEGP比EGP取得了更好、更穩(wěn)定的結(jié)果。

本文展示了GP在圖像分類中學(xué)習(xí)特征和進(jìn)化集合的潛力。然而，在計(jì)算機(jī)視覺中，有許多任務(wù)，如視頻分析和遙感圖像分類?？梢蚤_發(fā)新的基于GP的方法來處理這些任務(wù)。