在NIPS2017上該團(tuán)隊(duì)已經(jīng)為我們貢獻(xiàn)了:pose guided person image generation這篇非常棒的文章,在CVPR2018中,他們推出的更新的這篇文章不僅僅解決了換pose問題,還實(shí)現(xiàn)了”隨心所欲“的換裝換pose,今年spotlight。
在這里提到的前一篇文章可復(fù)現(xiàn)度很高,可以嘗試,后者我們團(tuán)隊(duì)中有人嘗試過,但并不理想,作者什么時(shí)候會(huì)公布代碼我們不得而知。
該模型分為三個(gè)分支,
1,運(yùn)用openpose這個(gè)庫(kù),生成pose的18個(gè)dots,并將這concat進(jìn)decoder之前的feature map中
2,在經(jīng)過卷積運(yùn)算后的feature map上,運(yùn)用mask,將前后景分離,背景的feature map也是直接concat進(jìn)最后的feature map中
3,核心是前景的處理上,用7個(gè)ROI進(jìn)一步將前景解開,然后用公用的encoder生成前景的featuremap