項(xiàng)目代碼 https://github.com/CISLab-HKUST/DECA-SIGGRAPH2021
一. 工程環(huán)境配置
本工程基于python3.8、torch==2.0.1+cu118、torch3d實(shí)現(xiàn)
1. conda環(huán)境配置
預(yù)設(shè)腳本配好conda環(huán)境
#!/usr/bin/env bash
export CONDA_ENV_NAME=py3.8_DECA
echo $CONDA_ENV_NAME
conda create -n $CONDA_ENV_NAME python=3.8
eval "$(conda shell.bash hook)"
conda activate $CONDA_ENV_NAME
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip3 install -i https://pypi.mirrors.ustc.edu.cn/simple/ -r requirements.txt
conda install https://anaconda.org/pytorch3d/pytorch3d/0.7.4/download/linux-64/pytorch3d-0.7.4-py38_cu118_pyt201.tar.bz2
2. Torch3D的配置
到pytorch3d找到符合自己版本的安裝包，比如cuda11.8、python3.8則對應(yīng)這個(gè)鏈接，下載好后本地執(zhí)行conda install <path>，即可配置Torch3D。
二. 模型的下載與放置
項(xiàng)目需要去FLAME主頁下載FLAME2020.zip，并且提取各個(gè)mode.pkl到data目錄下，另外還需要在這個(gè)網(wǎng)址下載deca_model.tar，無需解壓，直接放置在data目錄下。
三. 運(yùn)行結(jié)果
1. 人臉重建
執(zhí)行指令
python demos/demo_reconstruct.py -i TestSamples/examples --saveDepth True --saveObj True --rasterizer_type=pytorch3d
關(guān)鍵點(diǎn)檢測：
紋理提?。?/p>
obj生成：
2. 表情遷移
python demos/demo_transfer.py --image_path TestSamples/examples/IMG_0392_inputs.jpg --exp_path TestSamples/exp/4.jpg --rasterizer_type=pytorch3d
將下面圖片的表情遷到上面去。
3. 姿態(tài)和表情動(dòng)畫
首先要獲取npz，到BFM_to_FLAME運(yùn)行文件導(dǎo)出，首先要在這里注冊賬號(hào)，下載model2017-1_bfm_nomouth.h5文件，并放置在BFM_to_FLAME工程的model文件夾下，運(yùn)行下面代碼以導(dǎo)出FLAME_albedo_from_BFM.npz。
python col_to_tex.py
然后將FLAME_albedo_from_BFM.npz放至DECA的data目錄下，并運(yùn)行下面的代碼。
python demos/demo_teaser.py --rasterizer_type=pytorch3d
即可得到姿態(tài)和表情動(dòng)畫。
踩過的坑
- 直接運(yùn)行install_conda會(huì)覆蓋pytorch到CPU版本
運(yùn)行pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
- raise AttributeError(name) from None AttributeError: _2D
根據(jù)博客，將LandmarksType._2D改成下面代碼
self.model = face_alignment.FaceAlignment(face_alignment.LandmarksType.TWO_D, flip_input=False)
- ERROR: Could not find a version that satisfies the requirement torch (from versions: none)
ERROR: No matching distribution found for torch
Python環(huán)境和下載的Pytorch環(huán)境不匹配導(dǎo)致的，從3.7換成3.8就沒有這個(gè)問題了。
- from numpy import bool, int, float, complex, object, unicode, str, nan, inf
ImportError: cannot import name 'bool' from 'numpy'
安裝的numpy版本過高了，用低一點(diǎn)的版本。
pip install numpy==1.23 -i https://mirrors.aliyun.com/pypi/simple
- 報(bào)錯(cuò)：magic_number = pickle_module.load(f, **pickle_load_args)
EOFError: Ran out of input
解決：tar包不完整，重新拉取tar包，放至.data目錄。
參考：
DECA（Detailed Expression Capture and Animation）入門之3D人臉重建Demo
