提起虛擬主播，去年，我們打造了一款 3D虛擬偶像----Virtual格格，于3月31日在B站首次放送。其實(shí)，做3D虛擬主播，無外乎這幾點(diǎn)：一個(gè)3D模型，一個(gè)中之人，一套支持3D虛擬偶像做直播動(dòng)畫的技術(shù)。那么它們是如何結(jié)合的呢？

每一個(gè)虛擬主播的背后都有一位表演者負(fù)責(zé)做動(dòng)作，一位CV負(fù)責(zé)配音。當(dāng)然他們可以是同一個(gè)人。

1：動(dòng)作表演+表情匹配

需要表演者穿上動(dòng)作捕捉設(shè)備，然后，每做一個(gè)動(dòng)作，動(dòng)捕后臺(tái)都會(huì)記錄下表演者的動(dòng)作數(shù)據(jù)，表演完成，動(dòng)作數(shù)據(jù)將會(huì)保存在一個(gè)文件里，我們將這些動(dòng)作數(shù)據(jù)，同手動(dòng)K好的表情數(shù)據(jù)，通過unity合成輸出序列，此時(shí)的動(dòng)作就攜帶有表情了。最后，導(dǎo)出綠幕版的動(dòng)畫視頻文件。這就是我們觀看的虛擬偶像動(dòng)畫的雛形。

如果是做直播，一般來說，虛擬主播做直播，只需要用上半身，只要解決表情動(dòng)畫就可以了。表情動(dòng)畫的解決按傳統(tǒng)的方法，就是手動(dòng)K表情。但無論如何，手動(dòng)K表情是屬于后期操作，實(shí)時(shí)直播，這樣的方法并不現(xiàn)實(shí)，除非是錄播，后期把帶表情的半身動(dòng)畫，剪輯到錄播視頻上。所以，實(shí)時(shí)做表情，這個(gè)問題需要解決。

2：配音

配音文件的獲取，可以單獨(dú)在錄音棚看著動(dòng)作素材配音，也可以在表演過程中，帶上耳麥邊做動(dòng)作邊將聲音傳輸?shù)戒浺粼O(shè)備中保存。這個(gè)音頻文件就是虛擬主播的配音。

好啦~現(xiàn)在我們有綠幕的動(dòng)作視頻文件，也有配音文件。通過AE或者Pr，將以上素材剪輯加工，就是我們看到的虛擬偶像日常視頻啦~

--------------------------

不過以上，提及到技術(shù)層面，并非所有人都能一時(shí)學(xué)會(huì)這些專業(yè)的美術(shù)工具。為了方便小白更好的解決這些技術(shù)問題，我們團(tuán)隊(duì)和其他虛擬主播溝通后，研發(fā)一款方便小白輕松做3D虛擬主播的工具----Live3D ，通過傻瓜式操作，簡(jiǎn)單解決上述說的各種復(fù)雜技術(shù)問題。

1：首先提到模型

（1）Live3D有自己的云端3D模型庫，里面的模型均可免費(fèi)使用

（2）支持自定義捏人，你可以通過捏人功能（捏臉，換裝，捏身體）獲得一個(gè)新的模型。

（3）Live3D支持導(dǎo)入外部3D模型，目前支持FBX，PMX，VRM格式。你可以將你的模型導(dǎo)入，開啟虛擬主播之路。

2：其次，提到面部表情，以往的方法，上述提到用“手動(dòng)K幀”的方式，難度大，耗時(shí)長(zhǎng)，同時(shí)和個(gè)人能力有很強(qiáng)的掛鉤。同樣面部表情需要和動(dòng)作結(jié)合，也需要通過unity 導(dǎo)出合成序列

針對(duì)面部表情：Live3D的解決方案--“面部捕捉”

面部捕捉實(shí)現(xiàn)的方式

（1）通過電腦攝像頭捕捉。

（2）通過iphoneX 及以上版本的手機(jī)攝像頭捕捉。

具體過程：打開Live3D的面部捕捉按鈕---->將攝像頭對(duì)準(zhǔn)自己的面部----->你做什么表情，對(duì)應(yīng)Live3D畫面中人物做什么表情（包括眨眼，對(duì)口型，搖頭）

PS：對(duì)口型的準(zhǔn)確度可以達(dá)到你說的每個(gè)字都能準(zhǔn)確對(duì)上口型。

3：動(dòng)作捕捉數(shù)據(jù) 需要過unity 需要對(duì)unity 有一定的熟悉度 才可以最終將動(dòng)作數(shù)據(jù)，表情數(shù)據(jù) 轉(zhuǎn)化為可視化視頻。

針對(duì)動(dòng)作數(shù)據(jù) Live3D的解決方案是：預(yù)制動(dòng)作庫+動(dòng)作捕捉接口+導(dǎo)入外部動(dòng)作

（1）預(yù)制動(dòng)作庫 有海量云端動(dòng)作數(shù)據(jù)，通過按下動(dòng)作對(duì)于電腦鍵盤上的某個(gè)鍵（設(shè)置動(dòng)作對(duì)于鍵盤某個(gè)鍵，通過在Live3D上拖動(dòng)動(dòng)作到Live3D上的小鍵盤），人物就會(huì)做出相應(yīng)的動(dòng)作。

（2）動(dòng)捕接口 目前支持諾亦騰一套動(dòng)捕設(shè)備及諾亦騰Hi5手套，捕捉手部細(xì)節(jié)動(dòng)作。使用過程：鏈接動(dòng)捕后，在Live3D上開啟Noitom動(dòng)捕 Noitom Hi5手套 按鈕 ?？梢栽贚ive3D上看見你用動(dòng)捕做出的動(dòng)作，在做動(dòng)作前 點(diǎn)擊錄屏，選擇綠幕背景，即可錄制剛才你做的動(dòng)作視頻，直接出來就是綠幕視頻文件，不再像過去需要過unity處理。

（3）導(dǎo)入外部動(dòng)作，除了支持導(dǎo)入外部模型，我們還支持導(dǎo)入外部動(dòng)作，你可以把你喜歡的舞蹈動(dòng)作，日常生活動(dòng)作，動(dòng)捕動(dòng)作導(dǎo)入到Live3D里，運(yùn)用在直播和動(dòng)畫功能上。

最后，介紹Live3D兩個(gè)核心功能 直播+小動(dòng)畫

（1）用Live3D做直播

（2）用Live3D做小動(dòng)畫

好啦~ 今天的介紹就到這里

對(duì)Live3D感興趣的同學(xué) 歡迎關(guān)注我的zhihu號(hào)（Live3D）

鏈接：https://www.zhihu.com/people/live3d/answers

Live3D 是免費(fèi)使用 ，目前，泠鳶yousa同學(xué)每周直播已經(jīng)開始用Live3D啦~

歡迎大家前去體驗(yàn)*^_^*