?作者 |?江告
01?人體重建簡(jiǎn)介
在元世界中構(gòu)造真實(shí)的3D人體模型是構(gòu)建虛擬數(shù)字人的首要任務(wù)之一。三維人體重建旨在從2D人體信息恢復(fù)三維幾何，例如對(duì)RGB輸入進(jìn)行三維重建。
重建后的三維人體，可以用于影視特效制作，實(shí)現(xiàn)包括動(dòng)作驅(qū)動(dòng)等應(yīng)用。
02?人體重建經(jīng)典方法介紹
經(jīng)典的單視角RGB人體重建方法包括基于三維人體表示的重建，以及基于神經(jīng)隱式函數(shù)的重建。
基于三維人體表示的重建使用SMPL提供人體先驗(yàn)，優(yōu)化相應(yīng)的表示參數(shù)。
以HMR為代表，輸入單張圖片，通過(guò)神經(jīng)網(wǎng)絡(luò)提取出圖像特征，回歸SMPL的shape和pose參數(shù)，以及對(duì)應(yīng)的相機(jī)位姿。由于任意給定的shape或者pose參數(shù)不一定真的是一個(gè)合理的人，例如姿態(tài)不一定是人類可以實(shí)現(xiàn)的姿態(tài)，所以添加了判別器，篩去不真實(shí)的結(jié)果。
這種方法重建高效，但受限于人體表示的表達(dá)能力，往往只能重建赤身人體。
基于神經(jīng)隱式函數(shù)利用了神經(jīng)網(wǎng)絡(luò)從大量數(shù)據(jù)中學(xué)習(xí)先驗(yàn)的能力，以及神經(jīng)隱式表示靈活的表達(dá)能力，可以重建出帶有服裝細(xì)節(jié)的人體，以PIFu為代表。
PIFu能支持單視角或者多視角的輸入，且可以重建高度復(fù)雜的形狀，如發(fā)型、服裝，以及它們的變化和變形都可以用統(tǒng)一的方式數(shù)字化。
PIFuHD進(jìn)一步提升了PIFu的細(xì)節(jié)，通過(guò)設(shè)置端到端可訓(xùn)練的多級(jí)架構(gòu)來(lái)解決這一限制。粗略級(jí)別以較低的分辨率觀察整個(gè)圖像，并專注于整體推理。并提供了一個(gè)精細(xì)級(jí)別的上下文，通過(guò)觀察更高分辨率的圖像來(lái)估計(jì)高度詳細(xì)的幾何形狀?？梢酝ㄟ^(guò)充分利用 1k 分辨率的輸入圖像，重建出精細(xì)的人體形狀重建。
但這種方法往往依賴于訓(xùn)練集，而高精度三維人體的數(shù)據(jù)集獲取非常困難。因此，需要一個(gè)泛化性更強(qiáng)、細(xì)節(jié)表達(dá)更豐富的方法來(lái)實(shí)現(xiàn)單目RGB的三維人體重建。
03?ICON：?jiǎn)我暯莍n-the-wild RGB人體重建新方法
數(shù)據(jù)不足一直是深度學(xué)習(xí)的最大問(wèn)題之一，由于現(xiàn)有公開(kāi)數(shù)據(jù)集沒(méi)有包含大量人體GT的野外場(chǎng)景數(shù)據(jù)，首先構(gòu)造了數(shù)據(jù)集AGORA，《AGORA: Avatars in Geography Optimized for Regression Analysis》。
AGORA使用了4240個(gè)商業(yè)人體模型，和257個(gè)兒童，包含了不同的紋理和動(dòng)作。將人體模型放入了不同的場(chǎng)景，共渲染了14K訓(xùn)練和3K測(cè)試圖像。數(shù)據(jù)不僅能提供彩色圖像，而且包含了3D groundtruth，以及注冊(cè)了SMPL-X。
ICON 是使用深度學(xué)習(xí)模型，可以從彩色圖像中推斷出穿著 3D 衣服的人。?
具體來(lái)說(shuō)，ICON 將 RGB 圖像作為輸入，其中包含一個(gè)分割好的的穿著衣服的人，以及估計(jì)的“衣服下”人體形狀 (SMPL)，并輸出穿著衣服的人的像素對(duì)齊 3D 形狀重建。
ICON 有兩個(gè)主要模塊：（1）SMPL 引導(dǎo)的穿衣人體法向預(yù)測(cè)和（2）基于局部特征的隱式表面重建。
從穿著衣服的人的單個(gè) RGB 圖像推斷全 360° 3D 法向具有挑戰(zhàn)性，主要因?yàn)檎趽醪糠值姆ㄏ蛐枰鶕?jù)觀察到的部分猜測(cè)。這是一項(xiàng)有歧義的預(yù)測(cè)問(wèn)題，對(duì)深度網(wǎng)絡(luò)具有挑戰(zhàn)性。
對(duì)于SMPL引導(dǎo)的穿衣人體法向預(yù)測(cè)模塊，
輸入
和RGB圖像，
輸出的是估計(jì)的法向。
首先使用現(xiàn)有方法PARE根據(jù)圖像得到對(duì)應(yīng)的SMPL。估計(jì)出來(lái)的SMPL網(wǎng)格，利用pytorch3D的可微渲染器，獲得人體的正面和背面的SMPL法向圖：
構(gòu)建神經(jīng)網(wǎng)絡(luò)，輸入和RGB圖像，網(wǎng)絡(luò)預(yù)測(cè)穿衣人體的正面及背面法向，該法向用于進(jìn)一步構(gòu)建隱式表示的特征。
基于神經(jīng)網(wǎng)絡(luò)的隱式表示模塊，輸入空間中的采樣點(diǎn)，以及相應(yīng)的特征，由網(wǎng)絡(luò)輸出Occupancy表示，該表示可以由Marching Cube算法提取出顯示的網(wǎng)格。
對(duì)于每個(gè)采樣點(diǎn)，構(gòu)建了一個(gè)local特征；相比于PIFu的全局特征，局部特征能表示更精細(xì)的局部細(xì)節(jié)，且能減少全局姿勢(shì)的對(duì)預(yù)測(cè)結(jié)果的影響。具體來(lái)說(shuō)，local特征為
為查詢點(diǎn)到最近的SMPL點(diǎn)的符號(hào)距離值；
為該點(diǎn)對(duì)應(yīng)SMPL的重心面法向。
為該點(diǎn)的法向信息，
如果查詢點(diǎn)可見(jiàn)，則為該點(diǎn)投影至2D平面的法線值，如果不可見(jiàn)，就為背面的法線值，這個(gè)操作可以讓預(yù)測(cè)的結(jié)果更接近真實(shí)，而不是不論是否可見(jiàn)都直接使用預(yù)測(cè)的法向。
注意，這樣構(gòu)建的
與全局姿勢(shì)無(wú)關(guān)。
在訓(xùn)練過(guò)程中，還對(duì)SMPL的擬合結(jié)果進(jìn)行微調(diào)，主要是優(yōu)化SMPL法向和預(yù)測(cè)的clothed-body法向的差異和輪廓的差異：
同時(shí)也微調(diào)法向，方法是使用優(yōu)化后的SMPL，得到更好的法向。SMPL參數(shù)的微調(diào)和法向的微調(diào)在訓(xùn)練時(shí)交替進(jìn)行。
網(wǎng)絡(luò)的訓(xùn)練Loss為
。
對(duì)預(yù)測(cè)的法向和GT法向計(jì)算L1 Loss。
感知Loss
用于提升細(xì)節(jié)，
由2016年李飛飛的文章《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》提出：
04?ICON的優(yōu)勢(shì)
相比于PIFu系列的方法，ICON可以以更少的數(shù)據(jù)實(shí)現(xiàn)更高的重建效果，這得益于精細(xì)設(shè)計(jì)的局部特征結(jié)構(gòu)，表達(dá)了更精細(xì)的局部特征而不受全局特征的影響。
訓(xùn)練需要更少的數(shù)據(jù)也提高了網(wǎng)絡(luò)的泛化性，這對(duì)數(shù)據(jù)極度缺乏的人體重建人物是個(gè)很好的解決思路。
同時(shí)ICON還提供了構(gòu)建人體Avatar的方法。輸入單人的序列視頻，對(duì)圖像可見(jiàn)的區(qū)域重建，重建后使用SCANimate構(gòu)建可驅(qū)動(dòng)的人體化身。
相比于早期制作人體化身需要高精度的采集設(shè)備和一系列的繁雜操作，所需更簡(jiǎn)單的設(shè)備，端到端的生成方法，這給低成本的數(shù)字化身制作提供了可行的方案。
缺陷。由于 ICON 之前利用的SMPL的參數(shù)化模型，遠(yuǎn)離身體的寬松衣服可能難以重建。
雖然 ICON 對(duì)身體擬合的小錯(cuò)誤具有魯棒性，但身體擬合的嚴(yán)重失敗會(huì)導(dǎo)致重建失敗。因?yàn)樗窃谡灰晥D上訓(xùn)練的，所以 ICON 難以產(chǎn)生強(qiáng)烈的透視效果，產(chǎn)生不對(duì)稱的四肢或解剖學(xué)上不可能的形狀。
未來(lái)的一個(gè)關(guān)鍵應(yīng)用是單獨(dú)使用圖像來(lái)創(chuàng)建穿著化身的數(shù)據(jù)集。這樣的數(shù)據(jù)集可以促進(jìn)人體形狀建模的研究，對(duì)時(shí)尚行業(yè)有價(jià)值，并促進(jìn)圖形應(yīng)用。
