LTP-ML : Micro-Expression Detection by Recognition of Local temporal Pattern of Facial Movements

李婧婷老師:https://www.researchgate.net/profile/Jingting-Li-2

論文題目:LTP-ML : Micro-Expression Detection by Recognition of Local temporal Pattern of Facial Movements

本文提出了一種新穎的檢測方法:通過識(shí)別面部運(yùn)動(dòng)的局部和時(shí)間模式(LTP)。

Overview

1. 預(yù)處理階段(pre-processing)

面部特征點(diǎn)檢測及提取感興趣區(qū)域。預(yù)處理過程中,檢測出人臉49個(gè)關(guān)鍵點(diǎn),并取影響人臉微表情的幾個(gè)關(guān)鍵,進(jìn)行區(qū)域提取,具體步驟如下:

image.png

當(dāng)把49個(gè)關(guān)鍵點(diǎn)檢測出來后,如上圖所示還需要?jiǎng)澏ㄏ鄳?yīng)區(qū)域(矩形區(qū)域),嚴(yán)格來說正方形區(qū)域邊長a是由關(guān)鍵點(diǎn)23和26之間的距離L計(jì)算得來。

image.png

選取的關(guān)鍵點(diǎn)一共12個(gè),分別是眼睫毛部分:1,4,5,6,7,10; 鼻子部分:11,14;嘴部分:32,35,38,41

image.png

2. 特征提?。╢eature extraction)

image.png

a圖展示的是某一張ROI的時(shí)間序列過程。

PCA(Principal Component Analysis) 是一種常見的數(shù)據(jù)分析方式,常用于高維數(shù)據(jù)的降維,可用于提取數(shù)據(jù)的主要特征分量。PCA 的數(shù)學(xué)推導(dǎo)可以從最大可分型最近重構(gòu)性兩方面進(jìn)行,前者的優(yōu)化條件為劃分后方差最大,后者的優(yōu)化條件為點(diǎn)到劃分平面距離最小。

性質(zhì):

緩解維度災(zāi)難:PCA 算法通過舍去一部分信息之后能使得樣本的采樣密度增大(因?yàn)榫S數(shù)降低了),這是緩解維度災(zāi)難的重要手段;
降噪:當(dāng)數(shù)據(jù)受到噪聲影響時(shí),最小特征值對(duì)應(yīng)的特征向量往往與噪聲有關(guān),將它們舍棄能在一定程度上起到降噪的效果;
過擬合:PCA 保留了主要信息,但這個(gè)主要信息只是針對(duì)訓(xùn)練集的,而且這個(gè)主要信息未必是重要信息。有可能舍棄了一些看似無用的信息,但是這些看似無用的信息恰好是重要信息,只是在訓(xùn)練集上沒有很大的表現(xiàn),所以 PCA 也可能加劇了過擬合;
特征獨(dú)立:PCA 不僅將數(shù)據(jù)壓縮到低維,它也使得降維之后的數(shù)據(jù)各特征相互獨(dú)立;

具體參考:https://zhuanlan.zhihu.com/p/77151308

其維度計(jì)算公式如下,在上圖b中可以知道當(dāng)two components其PCA energy最好。

image.png

有一張表格如下圖,在這張表格中體現(xiàn)了每一幀圖片與其后面幀圖片的特征差異,此處論文中特征差異方法是采用的是歐氏距離,所得到的distances越大,即表示其差異性越大,其該區(qū)域在該時(shí)間段的動(dòng)作范圍變化越大。

歐氏距離是最易于理解的一種距離計(jì)算方法,源自歐氏空間中兩點(diǎn)間的距離公式。

(1)二維平面上兩點(diǎn)a(x1,y1)與b(x2,y2)間的歐氏距離:

image

(2)三維空間兩點(diǎn)a(x1,y1,z1)與b(x2,y2,z2)間的歐氏距離:

image

(3)兩個(gè)n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的歐氏距離:

image

也可以用表示成向量運(yùn)算的形式:

image
image.png

由于在每一個(gè)視頻中特征動(dòng)作范圍不統(tǒng)一,因此需要標(biāo)準(zhǔn)化,每一張表的每一行中選取最大的distance,操作如下:

image.png

3. 微表情檢測(ME detection)

支持向量機(jī)(SVM)進(jìn)行分類

image.png

部分未理解有待更新......

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容