FFmpeg是什么，通俗的說，在看片子的時候，需要用到視頻播放器，而很多視頻播放器的底層用的就是FFmpeg。這是我在2019年在FFmpeg深度學(xué)習(xí)模塊中所做事情的總結(jié)，由于我在19年是這個模塊的主要貢獻(xiàn)者，所以，這個總結(jié)也差不多就是FFmpeg深度學(xué)習(xí)模塊的現(xiàn)狀總結(jié)了。
在2018年的時候，Pedro Arthur (bygrandao@gmail.com)帶著學(xué)生Sergey Lavrushkin (dualfal@gmail.com)完成了一個GSoC項(xiàng)目，將TensorFlow引入FFmpeg，并且增加了一個超分辨率(super resolution)的video filer(vf_sr.c)，來演示如何使用深度學(xué)習(xí)模型。
這里簡單介紹一下GSoC，即Google Summer of Code，是Google公司贊助的項(xiàng)目，每年一次，到2020年將是第16次，用來鼓勵學(xué)生參與各種開源項(xiàng)目的實(shí)際代碼開發(fā)(不限于Google的開源項(xiàng)目，當(dāng)然此項(xiàng)目也需要Google的同意)，還有一定的經(jīng)濟(jì)資助。如果你是學(xué)生身份，強(qiáng)烈建議盡量參加。
回到FFmpeg，在18年的時候，我參與了這個模塊的討論，當(dāng)時我的想法是，支持各種深度學(xué)習(xí)框架的模型，根據(jù)傳入模型的類型，再調(diào)用相應(yīng)的深度學(xué)習(xí)框架在后端加載執(zhí)行。在今天事后來看，這個建議存在的一個問題是，有些深度學(xué)習(xí)框架沒有提供C接口（可能提供了C++接口），而FFmpeg社區(qū)要求使用C接口，這個問題我現(xiàn)在也還沒有解決方法。另外，我當(dāng)時還建議把這個作為單獨(dú)的模塊，或者起碼放在libavutil中，但是，最終還是放在了libavfilter目錄下面，因?yàn)榭紤]到目前主要是被filter調(diào)用。
最后完成的代碼支持深度學(xué)習(xí)框架TensorFlow，F(xiàn)Fmpeg可以接受TensorFlow的網(wǎng)絡(luò)模型文件(.pb)，準(zhǔn)備好輸入輸出后，再在后端調(diào)用TensorFlow的C庫文件加載并執(zhí)行這個模型。另外，考慮到某些系統(tǒng)可能沒有TensorFlow，所以，在FFmpeg中增加了native cpu path的支持，即可以fallback到cpu path，這個native后端也定義了一套模型文件格式，即native model。為什么在native模式下不是直接接受.pb文件呢，因?yàn)樵诓皇褂玫谌綆欤ū热鏿rotobuf）的情況下解析加載pb文件也是挺麻煩的事情，需要很多的代碼支持，沒必要也不應(yīng)該在FFmpeg中增加這樣的代碼。
由于其中不少代碼都是hard code形式寫死的，所以，我在2019年的時候，開始發(fā)patch來改進(jìn)這里的代碼，并且思考和實(shí)踐如何讓FFmpeg的用戶將深度學(xué)習(xí)的相關(guān)功能用起來。大致總結(jié)如下。
- 調(diào)整了深度學(xué)習(xí)模塊的目錄結(jié)構(gòu)
雖然我把這個寫在第一點(diǎn)，剛好可以順便先做一個框架性的介紹。但是，實(shí)際是在發(fā)了不少patch被社區(qū)初步信任后，才做的目錄調(diào)整，這也是參加開源社區(qū)工作的一個經(jīng)驗(yàn)，僅供參考。
原先所有的代碼文件都直接放在libavfilter目錄下面，考慮到支持native mode將會需要很多代碼，所以，在libavfilter目錄下創(chuàng)建了子目錄dnn，除了將dnn_interface.h這個接口文件繼續(xù)直接放在libavfilter目錄下，其他的dnn相關(guān)文件都被移到了dnn子目錄中，當(dāng)然，基于dnn的filter文件還是直接在libavfilter目錄中。如下圖所示。
其中，vf_sr.c就是前面介紹的2018年GSoC完成的超分辨率filter；而去除雨點(diǎn)等功能的vf_derain.c則是劉歧（網(wǎng)名悟空，Steven Liu lq@chinaffmpeg.org）帶著學(xué)生Xuewei Meng (xwmeng96@gmail.com)完成的GSoC2019項(xiàng)目；vf_dnn_processing.c是我做的基于dnn模型的一個通用的圖像處理filter，希望所有只改變AVFrame內(nèi)容的功能都可以用這一個filter來實(shí)現(xiàn)，目前已支持RGB和Gray等格式，而YUV相關(guān)格式的支持還在完成中；vf_dnn_analytic.c則是我設(shè)想中的filter，可以基于dnn模型從frame中提取一些信息，比如目標(biāo)檢測、人臉識別等等，可能會擴(kuò)展成多個不同用途的filter，初步計劃在2020年完成。
在libavfilter/dnn目錄下，目前有兩部分的內(nèi)容，一是調(diào)用TensorFlow C library的接口層，二是實(shí)現(xiàn)native layer的代碼，如果以后有需要，還可以增加更多的深度學(xué)習(xí)框架的C庫支持。因?yàn)镈NN interface接口層的存在，dnn的實(shí)現(xiàn)和基于dnn的filter之間是解耦的。
我在2019年在FFmpeg中的主要工作，除了從頭開始支持ROI encoding外，就是從dnn filter到DNN interface再到dnn實(shí)現(xiàn)的全覆蓋。filter和dnn實(shí)現(xiàn)互為表里，相互促進(jìn)，目前兩者都還處于比較初始的階段，我希望可以做好初始推動力的作用，使得兩者可以盡快形成良性循環(huán)正反饋，可以吸引更多的開發(fā)者和用戶參加進(jìn)來，也歡迎您的參與！
- 模型文件轉(zhuǎn)換的python腳本
在初始代碼中，native模型文件的生成方法，是根據(jù)相應(yīng)的TensorFlow模型，手工一句句地寫代碼將模型導(dǎo)出到文件中。如果TF模型略有調(diào)整，也必須手工修改相應(yīng)的代碼，再重新生成native模型文件。這樣的方法，無法擴(kuò)展也不實(shí)用。所以，我寫了個python腳本，輸入是TF模型文件，輸出是native模型文件，并且在native模型文件中增加了文件頭和版本號等信息。這個腳本文件目前只支持當(dāng)前FFmpeg支持的layer，需要繼續(xù)完善。
- native layer代碼的重構(gòu)
在原來代碼中，native模型的加載由一個函數(shù)完成，我將其拆分為了一個入口函數(shù)和若干子函數(shù)，每個子函數(shù)對應(yīng)一個layer的加載。在原來代碼中，所有nativer layer的執(zhí)行函數(shù)放在一個文件中。我為每個layer在libavfilter/dnn目錄下創(chuàng)建了一個新文件，對應(yīng)的加載函數(shù)和執(zhí)行函數(shù)都放在這個文件中，實(shí)現(xiàn)了不同layer之間在文件級別的隔離。在入口函數(shù)中，則用函數(shù)指針數(shù)組的方式來直接調(diào)用相應(yīng)layer的函數(shù)，不使用if/else或者switch的方式，避免了大量的重復(fù)代碼。
所以，現(xiàn)在如果要修改某個layer的實(shí)現(xiàn)，只需要修改相應(yīng)的一個文件即可，不太會造成side effect。如果要增加一個layer，則只需要增加一個新的代碼文件（.c和.h），然后注冊到函數(shù)指針數(shù)組中即可，也不會存在誤操作影響到已有代碼的功能。
- 增加FATE測試
FATE (FFmpeg Automated Testing Environment) 是FFmpeg社區(qū)開發(fā)的自動化測試框架，要持續(xù)維護(hù)一個良好質(zhì)量的軟件項(xiàng)目，快速的自動化測試（包括單元測試、回歸測試等等）都是必不可少的看門人角色，非常重要?；贔ATE框架，我為每一個navier layer都增加了單元測試，以后有新的layer加入，只要依葫蘆畫瓢再增加就可以了。我也為vf_dnn_processing增加了測試。由于當(dāng)前native layer中的卷積層conv2d的性能不佳，所以，還無法為vf_sr和vf_derain增加FATE測試，否則，耗時太久，反而影響了自動化測試的初始目的。
-
DNN interface接口調(diào)整
- 在使用TF后端的時候，之前代碼要求模型的輸入變量的名字必須是x，輸出變量名字必須是y。我調(diào)整了接口，輸入輸出變量名字可以在filter層次指定。
- 在使用native后端的時候，之前代碼將第一個layer的輸入作為模型的輸入，將最后一個layer的輸出作為模型的輸出。我增加了name的支持，可以通過name字符串來找到模型的輸入輸出變量，也使得行為和TF一致。
- 之前代碼假設(shè)模型的輸入輸出都是float32格式的數(shù)據(jù)。我調(diào)整了數(shù)據(jù)結(jié)構(gòu)，使得float32和uint8格式都可以指定。
- 將native模型的輸出變量從一個增加到了多個，以適合目標(biāo)檢測等模型的要求。
- 增加了一個查詢接口，在模型文件被加載后，F(xiàn)Fmpeg就可以查詢模型的輸入格式，比如width、height、channel和format等信息，方便檢查模型文件是否正確，或者做一些諸如圖片縮放等預(yù)處理。
增加了更多native layer的支持
為了上述DNN接口層的調(diào)整，需要有實(shí)際的例子來表明這些調(diào)整是需要的，也為了不產(chǎn)生regression問題，需要增加更多nativer layer。另外，從項(xiàng)目本身來說，增加更多的nativer layer以支持更多的深度學(xué)習(xí)模型，比如目標(biāo)檢測等模型，也是題中應(yīng)有之義。在19年下半年，帶了上海交大密歇根學(xué)院5位同學(xué)的本科畢業(yè)設(shè)計課程，增加了一些native layer的實(shí)現(xiàn)，但沒有upstream。
- 為native mode引入Operand的概念
在之前的代碼中，nativer layer是依次順序排列，第i層的輸出就是第i+1層的輸入，無法支持一個層的輸出作為多個層的輸入，也不支持一個層的輸入來自多個層。增加了Operand操作數(shù)概念后，層和層之間用Operand連接，就可以實(shí)現(xiàn)這些分支合并功能。如何使得Operand更好的節(jié)約內(nèi)存、減少內(nèi)存拷貝，目前還只有想法，尚未代碼實(shí)現(xiàn)。
- 已有代碼的一些bug的fix等
這部分工作，趙軍Jun Zhao (barryjzhao@tencent.com)、劉歧Steven Liu( lq@chinaffmpeg.org)還有l(wèi)eozhang (leozhang@qiyi.com)、Zhao Zhili (quinkblack@foxmail.com)等也做了不少貢獻(xiàn)。話說這樣的統(tǒng)計功能怎么做啊，我是手工地肉眼看了一遍，大概率會遺漏什么，，，如有漏人，請告訴我。
最后，感謝老板的支持和社區(qū)的認(rèn)可，我在2019年底成為了FFmpeg深度學(xué)習(xí)模塊的maintainer。另外，我的大部分代碼都是Pedro Arthur (bygrandao@gmail.com) review的，在此也表示感謝。
以上內(nèi)容是本人業(yè)余時間興趣之作，限于水平，差錯難免，僅代表個人觀點(diǎn)，和本人任職公司無關(guān)。
本文首發(fā)于微信公眾號：那遁去的一
