Your Face Your Heart:Secure Mobile Face Authentication with Photoplethysmograms

[TOC]

Your Face Your Heart:Secure Mobile Face Authentication with Photoplethysmograms

題目：采用光電血容體積描記實(shí)現(xiàn)的安全的臉部認(rèn)證

作者：Yimin Chen, Jingchao Sun, Xiaocong Jin, Tao Li, Rui Zhang, and Yanchao Zhang

出處：IEEE INFOCOM 2017 - IEEE Conference on Computer Communications

方向：網(wǎng)絡(luò)安全

主題：圖像認(rèn)證

參考文獻(xiàn)清單如下

內(nèi)容大綱

什么問(wèn)題

面部認(rèn)證作為一種常用的移動(dòng)設(shè)備的訪問(wèn)認(rèn)證方式，很容易受到偽造照片攻擊（PFA）和偽造視頻攻擊（VFA）。

為什么研究該問(wèn)題

目前已有的針對(duì)PFA和VFA的防護(hù)手段主要是需要合法用戶認(rèn)證時(shí)同時(shí)捕獲一個(gè)能證明該照片或視頻是實(shí)時(shí)捕獲的在線指示器。不夠靈活的同時(shí)還是存在被偽造攻擊的可能性。

本文方法

提出一種稱為FaceHeart的方法，同時(shí)使用前置攝像頭拍攝面部和后置攝像頭拍攝指端，然后從兩個(gè)圖片或視頻中提取血容體積做對(duì)比，以認(rèn)證用戶訪問(wèn)。

為什么這么做

因?yàn)檠蒹w積與人的實(shí)時(shí)心臟活動(dòng)密切相關(guān)，不可能偽造或受到特定控制，利用FaceHeart能有效抵抗PFA和VFA。

實(shí)驗(yàn)結(jié)果

在Samsung Glalaxy S5上的實(shí)驗(yàn)證明了FaceHeart具有很高的效果和效率。兩個(gè)方面的實(shí)驗(yàn)，F(xiàn)aceHeart的性能測(cè)試，F(xiàn)aceHeart的健壯性測(cè)試。

對(duì)我的啟發(fā)

xxx

Introduction

1.背景

  • 移動(dòng)設(shè)備丟失率很高
  • malware infection rate 呈上升態(tài)勢(shì)

故出現(xiàn)了訪問(wèn)認(rèn)證的需求

2.認(rèn)證的用途

  • 解鎖設(shè)備
  • 金融或機(jī)密應(yīng)用使用權(quán)限（如支付，密碼管理APPs）

3.認(rèn)證方式

  • 傳統(tǒng)的有PIN
  • 新型的，根據(jù)行為學(xué)、生物學(xué)、統(tǒng)計(jì)學(xué)融合的認(rèn)證技術(shù)，如根據(jù)輸入習(xí)慣、指紋等

4.本文目標(biāo)

提高面部認(rèn)證的安全可靠性。面部認(rèn)證通過(guò)從數(shù)字圖像或視頻幀中提取用戶的面部特征進(jìn)行驗(yàn)證，由于人的面部特征的獨(dú)特性，不易偽造，所以面部認(rèn)證方式很流行。

問(wèn)題：但是很容易通過(guò)網(wǎng)絡(luò)或偷拍等途徑獲取個(gè)人圖像或視頻，發(fā)起PFA、VFA攻擊，通過(guò)認(rèn)證系統(tǒng)。

5.已有的針對(duì)PFA和VFA的方法

  • 傳統(tǒng)的非COTS方法（商用現(xiàn)成品或技術(shù)，即無(wú)需附加額外技術(shù)或部件）。1）liveness detection，活體檢測(cè)，有效，但對(duì)VFA效果不好。2）同時(shí)針對(duì)VFA和PFA的方法，如紅外攝像機(jī)檢測(cè)thermogram（溫譜圖），texture analysis，紋理分析檢測(cè)打印的照片。

    這些方式計(jì)算復(fù)雜度高，需要附加額外設(shè)備，如傳感器，攝像頭之類的。

  • COTS方法。不增加設(shè)備，直接用現(xiàn)有的內(nèi)部器件——accelerometer，加速器。通過(guò)人物微小移動(dòng)，檢測(cè)加速器記錄和圖像、視頻的表現(xiàn)值是否一致來(lái)檢測(cè)。

    缺點(diǎn)：可能收到場(chǎng)合的限制，入侵者可以模擬實(shí)現(xiàn)偽裝。

6.本文方案：FaceHeart，一種活體檢測(cè)方案

使用前后攝像頭分別拍攝面部和指尖視頻，提取光電容積脈搏波，對(duì)比其含有的生物信息，若一致，則認(rèn)為是可靠的，該認(rèn)證請(qǐng)求來(lái)自于活體。

利用了生物信息：光電容積脈搏波，與心臟活動(dòng)密切相關(guān)，包含很多生物數(shù)據(jù)，無(wú)法偽造和控制。

Background of Camera-based PPG

光電容積脈搏波描記法（Photoplethysmography，PPG），是一種用來(lái)檢測(cè)組織微血管中的血容量變化的光學(xué)測(cè)量技術(shù) 。其原理是用一定波長(zhǎng)的光照射皮膚表面，通過(guò)透射或反射方式傳送到光電接收器，由于血液容積在心臟作用下呈搏動(dòng)性變化，使得光電接收器接收到的光強(qiáng)度也隨之
呈脈動(dòng)性變化，從而得到血液容積脈搏的變化信息 。光電容積脈搏波包含著血液流動(dòng)、心臟跳動(dòng)等重要信息，并可以進(jìn)一步得到人體血氧、血壓、血管微循環(huán)、心率、呼吸率等生理參數(shù)，對(duì)人體健康的監(jiān)護(hù)具有重大的意義。

FaceHeart

整個(gè)FaceHeart分為4個(gè)模塊

  • signal processing module
  • feature extraction module
  • classifier training module
  • liveness detection module

工作流程為：

  • cameras record face and fingertip videos simultaneously。
  • extract and compare two photothysmograms（liveness detection）
  • face frames sent to face conventional authentication module，檢查是否為合法用戶。
  • liveness detection and face authentication同時(shí)通過(guò)認(rèn)為認(rèn)證成功。

1.signal processing module

信號(hào)處理模塊分為4個(gè)子模塊。

  • Face Detection and Tracking。面部檢測(cè)和跟蹤。

    method：1）Viola-Jones detection algorithm，檢測(cè)第一幀中的人臉。2）KLT目標(biāo)跟蹤算法追蹤后續(xù)幀中的人臉。（該算法是跟蹤算法，要求目標(biāo)不能大幅運(yùn)動(dòng)，所以本文要求認(rèn)證人盡可能保持still stable）

    output：coordinates of face in each frame

  • ROI Selection：對(duì)比三種ROI，選用了第三種。目標(biāo)區(qū)域選取。

    ROS的兩個(gè)問(wèn)題直接影響到photoplethysmogram信息，1）where ROI is。2）ROI‘s size。

    選用了論文例舉的第三種ROI方式。1）復(fù)雜度低，計(jì)算效率高。2）性能滿足需求，在該使用場(chǎng)合下與其他兩種方式相近。3）可能的改進(jìn)，多種ROI方式加權(quán)組合，但是需要進(jìn)一步考慮降低算法開(kāi)銷（可做進(jìn)一步研究）。

  • Photoplethysmogram extraction

    average all pixel values in ROI，采用目標(biāo)區(qū)域內(nèi)所有像素的平均值。

    事實(shí)上，三個(gè)顏色通道都含有該生物信息，其中g(shù)reen通道最強(qiáng)，根據(jù)相關(guān)研究證明，本文選用綠色通道值作為計(jì)算值。

  • Filter

    采用兩種過(guò)濾算法，分兩步過(guò)濾。

    • Normalized Least Mean Square，NLMS，最小均方誤差濾波器。alleviate the illumination interference。視頻目標(biāo)微小的移動(dòng)或相機(jī)的抖動(dòng)都會(huì)造成環(huán)境的光照強(qiáng)度變化，從而產(chǎn)生測(cè)量干擾。
    • Bandpass FIR filter，減少out-of-band noise interference。帶通濾波器，F(xiàn)IR，F(xiàn)inite Impulse Response，有限長(zhǎng)單位沖激響應(yīng)濾波器，又稱為非遞歸型濾波器。

    output：final photoplethysmogram

fingertip video 不用track，不用ROI，沒(méi)有illumination interference，相應(yīng)的不用NLMS濾波。簡(jiǎn)化后三步動(dòng)作即可。

2.Feature extraction

in：filtered photoplethysmogram，step1中最終得到的過(guò)濾過(guò)的生物信號(hào)

out：a feature vector，從信號(hào)中提取的一個(gè)特征向量

計(jì)算的特征有：Heart rate difference，Maximum cross correlation（互相關(guān)），mean，max，min，standard deviation（標(biāo)準(zhǔn)差）

3.classifier training

  • training set：feature vectors，v={2中的6個(gè)特征值}，樣本來(lái)自兩組，一組為合格的活體檢測(cè)，一組為不匹配的face與fingertip
  • 通過(guò)三種ML算法進(jìn)行訓(xùn)練，這里用了，BN、LR、Multilayer Perception（MLP，即多層感知器，是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)）三種算法。
  • out：訓(xùn)練得到一個(gè)classifier

安裝FaceHeart的設(shè)備都可以加載使用這個(gè)classifier，并持續(xù)使用改善。

4.liveness detection

in：a new pair of face and fingertip video

out：comput corresponding feature vector and apply the trained classifier, get class label。

Performance Evaluation

攻擊者模型：擁有受攻擊者的手機(jī)、包含其清晰正臉的視頻。但沒(méi)有fingertip video，因?yàn)檫@實(shí)際中也很難被攻擊中獲取，故攻擊者只能用其他人的fingertip video作為替代，采用VFA進(jìn)行入侵。

兩類實(shí)驗(yàn)

  • 壓力測(cè)試，測(cè)試性能，相同環(huán)境下分類準(zhǔn)確性
  • 健壯性測(cè)試，測(cè)試不同條件下分類準(zhǔn)確性。

1.性能標(biāo)準(zhǔn)

  • ROC曲線。
  • Acceptance Rate，正確分類的合法用戶占所有合法用戶的比例，表現(xiàn)對(duì)合法用戶的劃分程度。
  • Detection Rate，正確劃分的攻擊者占所有攻擊者的比例，表現(xiàn)系統(tǒng)有效防御VFA的能力。
  • Computation time，計(jì)算時(shí)間。

2.實(shí)驗(yàn)結(jié)果

性能測(cè)試結(jié)果

  • video length影響：2到4秒以內(nèi)，心率信息準(zhǔn)確度隨視頻長(zhǎng)度增加而增加，超過(guò)4秒后無(wú)變化。三種分類算法得到的分類結(jié)果也同樣，2到4秒內(nèi)錯(cuò)誤率減少，之后不變。

    實(shí)驗(yàn)證明，認(rèn)證的視頻可以足夠短，默認(rèn)長(zhǎng)度設(shè)為為4秒

  • ROI影響：證明了三種ROI方式，本文選用的ROI方式具有最小的錯(cuò)誤率（總體都相近，但本文選用的方式同時(shí)運(yùn)算最快）。

  • ROC圖統(tǒng)計(jì)性能，同時(shí)滿足很高的TPR和很低的FPR。

  • 不同用戶狀態(tài)下的ERR測(cè)試，結(jié)果顯示不同的心臟活動(dòng)狀態(tài)下，錯(cuò)誤率都很低。三種分類算法都是6%左右的錯(cuò)誤率。

健壯性測(cè)試結(jié)果

  • Head pose，頭的姿勢(shì)對(duì)接受率的影響，證明認(rèn)證者錄像時(shí)小范圍（小于10度）的上下或左右轉(zhuǎn)動(dòng)頭，并不會(huì)降低接受率。
  • Illumination。證明FaceHeart受環(huán)境光照影響，低光照（暗環(huán)境）降低接受率。
  • Location，實(shí)驗(yàn)環(huán)境影響，辦公室、公寓、圖書館和戶外測(cè)試證明環(huán)境不影響FaceHeart的接受率。

計(jì)算時(shí)間

時(shí)間消耗的不同主要是選用不同的ROI算法導(dǎo)致的，R1和R2的ROI方式的時(shí)間遠(yuǎn)大于R3的方式，故選用R3方式（18倍差距）。（給定了視頻長(zhǎng)度為4秒情況下做測(cè)試）

Discussion

討論局限性及可能的改進(jìn)FaceHeart的方法

1.Camera-based PPG

  • 要求用戶不能移動(dòng)以及光照環(huán)境對(duì)PPG結(jié)果有影響。
  • 很少情況下，面部表情、面部阻塞、膚色會(huì)影響PPG結(jié)果

2.認(rèn)證時(shí)間

目前的認(rèn)證時(shí)間包括4秒的視頻長(zhǎng)度+0.96的ROI處理（R3方式），大約4.9秒算是優(yōu)秀的?？梢钥s短視頻長(zhǎng)度，但面臨錯(cuò)誤率增高的問(wèn)題。一種縮短視頻的方式是換一種特征，比如心率變化程度。有待進(jìn)一步研究。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容