本篇論文主要是從事于微表情研究,介紹人物:王甦菁教授,被許多人稱為“中國(guó)版霍金”。他的科研成果也得到了國(guó)際學(xué)術(shù)界的認(rèn)可,成為2011國(guó)際生物特征識(shí)別大會(huì)博士研究生論壇在全球邀請(qǐng)的10位有培養(yǎng)前途的博士研究生之一。吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院2008級(jí)博士研究生,中國(guó)科學(xué)院心理研究所副研究員。
論文題目:CAS(ME)2: A Database for Spontaneous Macro-expression and Micro-expression Spotting and Recognition
本次論文主要貢獻(xiàn):
- 在同一段視頻中,首次面向公眾提供大表情和微表情;
- 所有的大表情和微表情都是來(lái)自于同一測(cè)試對(duì)象,并且在相同實(shí)驗(yàn)條件下完成的;
- 大表情和微表情之間的動(dòng)作單元(AU)是不同的,有利于測(cè)試;
- 該數(shù)據(jù)庫(kù)結(jié)合了FACS(AU),啟發(fā)視頻的情感類型以及參與者針對(duì)每個(gè)表達(dá)樣本的自我報(bào)告的情感。

同樣,該數(shù)據(jù)集也是采用LBP-TOP提取特征,我們知道,單張的圖像只有X, Y兩個(gè)方向,而一個(gè)視頻或者圖像序列除了X,Y 方向之外,還有一個(gè)沿著時(shí)間軸 T 的方向, 而 X-Y, X-T 和 Y-T 三個(gè)方向是相互正交的??梢钥纯慈缦碌膱D:

在此LBP-TOP就不多介紹,想了解更多可以看前一篇論文。
此文值得注意的是如何在一段視頻中如何提取到相應(yīng)表情幀。
已發(fā)布的LBP方法來(lái)計(jì)算可變間隔內(nèi)視頻幀基于外觀的特征的差異,并自動(dòng)估計(jì)視頻中運(yùn)動(dòng)的斑點(diǎn)。
首先,將一個(gè)面部圖片劃分成6*6的片段區(qū)域,并用LBP計(jì)算每一個(gè)區(qū)域的直方圖。

- AFF(verage feature frame): 值視頻中頭幀圖像(HF)和尾幀圖像(TF)的圖像特征平均值
- CF(currently analyzed frame): 當(dāng)前所處視頻幀
- TF(tail frame): 位于CF后面的第K幀圖片
- HF(head frame): 位于CF前面的第K幀圖片
CF評(píng)估視頻的所有n幀,除了視頻的第一幀和最后一幀外。每幀的36對(duì)差值按降序排列.Fi定義為第i個(gè)M個(gè)最大差值的平均值 所有n幀中的第6幀,并且在此實(shí)驗(yàn)中將M設(shè)置為12。 為避免噪音干擾,運(yùn)用下面的公式,將Fi換成Ci。

閾值用于獲得代表視頻中最大面部運(yùn)動(dòng)幀的峰值,閾值T計(jì)算方法,并且p的取值范圍[0, 1]。



在視頻中能夠有效地找出相應(yīng)peak表情幀出來(lái)。
當(dāng)然,不一定非要6 * 6劃分區(qū)域,改論文中也同時(shí)試驗(yàn)了其它劃分區(qū)域方法。其中,k = 48 , block: 8 * 8 其得到的實(shí)驗(yàn)效果最好。

論文如果有理解錯(cuò)誤地方,歡迎大佬指正。