一、視頻質(zhì)量評估的目的
背景：在實(shí)時互動無處不在的今天，視頻質(zhì)量是反映終端用戶體驗(yàn)的重要指標(biāo)。視頻質(zhì)量評估的目的是準(zhǔn)確衡量出人眼對于視頻內(nèi)容的感知。
源視頻在經(jīng)過采集編碼傳輸解碼等模塊傳輸?shù)饺搜壑?，會不可避免的引入一些壓縮失真，嚴(yán)重的時候甚至?xí)芯G屏、花屏、馬賽克等問題。因此準(zhǔn)確完備的評估視頻畫質(zhì)質(zhì)量成為一項(xiàng)重要的能力。
引入：不同場景和關(guān)注對象存在差異，對于直播終端用戶而言，側(cè)重于實(shí)時畫質(zhì)監(jiān)控，對于視頻編解碼技術(shù)而言，關(guān)注畫質(zhì)算法版本之間畫質(zhì)表現(xiàn)的提升或回退。一方面，需要對線上實(shí)時用戶進(jìn)行體驗(yàn)評價和畫質(zhì)實(shí)時監(jiān)控，另一方面需要對畫質(zhì)算法進(jìn)行畫質(zhì)和性能評估，因此需要一套完整視頻主客觀評價體系VQA（Vdideo Quality Assessment）
二、視頻質(zhì)量評估的方法
在業(yè)界評估視頻質(zhì)量有兩種常用方法：視頻質(zhì)量主觀評價和視頻質(zhì)量客觀評價。
1、視頻質(zhì)量主觀評估：
1）簡介：在受控環(huán)境下對視頻圖像的主觀感受來對視頻的質(zhì)量進(jìn)行評估。由于它是人對視頻圖像質(zhì)量主觀感受的直接反應(yīng)，符合視頻圖像服務(wù)的最終目的，是所有評估方法的基礎(chǔ)。
2）測試環(huán)境中的受控因素：觀看距離、觀測環(huán)境、測試序列的選擇、序列的顯示時間間隔等
3）測試流程：
常見的主觀評估流程一般如下：
①選取有代表性的源視頻序列（一般錄制視頻）；
②優(yōu)化后的視頻序列/競品視頻序列；
③按照ITU標(biāo)準(zhǔn)設(shè)計(jì)主觀打分；
④測試觀看視頻并打分；
⑤收集主觀打分并剔除無效數(shù)據(jù)；
⑥整理數(shù)據(jù)并得出測試結(jié)論
3）主觀指標(biāo)：?分為MOS(Mean?Opinion?Score)和DMOS(Differential?Mean?Opinion?Score)兩種，
其中主觀MOS分描述的是視頻絕對主觀評價，屬于無參考場景，直接評價移動端UGC視頻內(nèi)容質(zhì)量。
主觀DMOS分表示視頻相對評價，屬于有參考場景，對比相同內(nèi)容下視頻之間的差異
4）主觀MOS分常用標(biāo)準(zhǔn)：ITU-T Rec BT.500 給出的操作范例保證了主觀實(shí)驗(yàn)的信度和效度。將主觀的視頻感受投射到[1,5]的區(qū)間內(nèi)，描述如下：
（PS：ITU-T Rec BT.500 給出的建議是“成立≥15人的非專家組”，得到評分員對視頻的標(biāo)注后，先計(jì)算每個人和總體均值的相關(guān)性，剔除相關(guān)性較低的評分員后，再對剩余評分員的評價求均值。當(dāng)參與評分的人數(shù)大于15時，足以將實(shí)驗(yàn)隨機(jī)誤差控制在可接受范圍內(nèi)）
2、視頻質(zhì)量客觀評價
視頻質(zhì)量客觀評估通過一些評估標(biāo)準(zhǔn)來量化視頻質(zhì)量，按照原始參考視頻提供信息多少可以分為三類：全參考（Full Reference）、部分參考（Reduced Reference）、無參考（No Reference）
1）全參考（FR）
全參考評估依賴完整原始視頻序列作為參考標(biāo)準(zhǔn)，比較前后的兩段視頻每個像素的差別，基于逐幀像素的PSNR（峰值信噪比）和SSIM（結(jié)構(gòu)相似度）是比較常見的比較方法，其他VIF VMAF PEVQ其指標(biāo)也為群參考指標(biāo)，需要輸入視頻和輸出視頻才能得出評估結(jié)果，適用于離線測試，
缺點(diǎn)是主觀擬合程度比較有限而且比較依賴參考視頻，機(jī)型環(huán)境等測試條件等，測試應(yīng)用場景也比較受限
舉例：
①PSNR 值就可以表示失真視頻相對于原片的失真程度。PSNR 計(jì)算復(fù)雜度小，實(shí)現(xiàn)速度快，但是受局部像素點(diǎn)的影響大，沒有考慮到視頻的結(jié)構(gòu)信息，與人眼主觀感受的相關(guān)性較低 ；
②結(jié)構(gòu)相似性指數(shù)（Structural Similarity Index Measure, SSIM）試圖模擬從場景圖像中提取結(jié)構(gòu)（Structure）信息的過程，然后同時考慮結(jié)構(gòu)信息與亮度（Luminance）、對比度（Contrast）來衡量兩個圖像或視頻之間的結(jié)構(gòu)相似性，但該評價方式與人眼主觀評價畫質(zhì)還是存在一定差異，真實(shí)的主觀評價還會受人類視覺系統(tǒng)的一些重要的心理、生理因素的影響，如視頻流暢度、視頻包含的信息量、是否符合美學(xué)標(biāo)準(zhǔn)等；
③視頻多方法綜合評價（Video Multi-Method Assessment Fusion, VMAF）是 Netflix 提出的一個客觀有參畫質(zhì)評價指標(biāo)，通過 3 個基礎(chǔ)指標(biāo)同時提取空間域（同一幀畫面內(nèi)）圖像特征和時間域（連續(xù)多幀畫面間）相關(guān)性特征，其中 Visual Quality Fidelity（VIF）和 Detail Loss Measure（DLM）屬于空域特征，Temporal Information（TI）屬于時域特征，最終使用機(jī)器學(xué)習(xí)算法（SVM）將這 3 個基礎(chǔ)指標(biāo)融合成最終的畫質(zhì)分?jǐn)?shù)?
2）部分參考（RR）
部分參考評估提取兩段視頻的一些特性，并依此給予它們評分。適用于完整的原始視頻序列不可得的情況，這種評估介于?Full Reference 和 No Reference之間
3）無參考（NR）
在更廣泛的業(yè)務(wù)場景中，由于待評價的原視頻無法獲取，也沒有參考視頻，無法使用有參的評估方法，因此需要無參考視頻評價視頻VQA。即無參考評估是在沒有任何原視頻的參考下進(jìn)行評估，比較適合線上視頻評估、視頻增強(qiáng)和視頻合并測試等場景，缺點(diǎn)是評價的精度，準(zhǔn)確性相比有參會低一些
舉例：最初的無參 VQA 方法如 BRISQUE、VIDEVAL 等，是通過手工設(shè)計(jì)特征，然后用 SVM 等機(jī)器學(xué)習(xí)模型預(yù)測視頻主觀質(zhì)量，在這個過程中，將人工標(biāo)注的 MOS 分?jǐn)?shù)作為監(jiān)督，把畫質(zhì)評價問題轉(zhuǎn)化為一個回歸問題。隨著深度學(xué)習(xí)的快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的無參 VQA 算法逐漸成為主流，原因在于神經(jīng)網(wǎng)絡(luò)能自動且高效地提取特征，并將特征學(xué)習(xí)融入到模型訓(xùn)練的過程中，且深度學(xué)習(xí)引入了深度神經(jīng)網(wǎng)絡(luò)，具有多個隱藏層，能夠?qū)W習(xí)視頻中更抽象、更高級別的特征
3、視頻主客觀評價一致性衡量
1）指標(biāo)定義：業(yè)內(nèi)通常從客觀模型的預(yù)測精度和預(yù)測單調(diào)性給出定義。預(yù)測精度描述了客觀模型對主觀評價的線性預(yù)測能力，相關(guān)的指標(biāo)是?皮爾遜線性相關(guān)系數(shù)PLCC(Pearson Linear Correlation Coefficient)和 RMSE(Root Mean Square Error)。預(yù)測單調(diào)性描述了評分相對等級的一致性，衡量的指標(biāo)是?斯皮爾曼等級相關(guān)系數(shù)SROCC(Spearman Rank Correlation Coefficient)。
2）標(biāo)準(zhǔn)及說明：①PLCC 的取值范圍為 -1~1，值越接近0，表示視頻的模型預(yù)測分?jǐn)?shù)和人眼主觀分?jǐn)?shù)相關(guān)性越弱，值越接近 1 或 -1，表明視頻的模型預(yù)測分?jǐn)?shù)和人眼主觀分?jǐn)?shù)相關(guān)性越強(qiáng)；
②SROCC的取值范圍為0~1，SROCC 值越接近 1，表明模型越能對一組視頻的質(zhì)量高低進(jìn)行正確排序。例如：人眼主觀對 5 個視頻的質(zhì)量排序?yàn)椤?，2，3，4，5”，數(shù)值越大代表質(zhì)量越好，若模型預(yù)測的質(zhì)量排序也為“1，2，3，4，5”，則 SROCC 值為 1，模型對視頻質(zhì)量排序完全正確；若模型預(yù)測的質(zhì)量排序?yàn)椤?，3，2，5，4”，則 SROCC 值為 0.799，模型對視頻質(zhì)量排序的準(zhǔn)確性降低。
三、當(dāng)前可參考文檔：
1）B站無參視頻畫質(zhì)評價的研究與應(yīng)用（B站）：https://www.bilibili.com/read/cv26787690/
2）我們?nèi)绾谓⒁惶谉o參考視頻質(zhì)量評價體系（聲網(wǎng)VQA）：http://short.bigo.sg/QkAq0
3）無參考評估在云信的視頻測試實(shí)踐（網(wǎng)易云信）：https://juejin.cn/post/6865622938926710797
4）無參考視頻質(zhì)量評估算法研發(fā)及落地實(shí)踐（小紅書）：http://short.bigo.sg/QkAaq
5）深度解讀字節(jié)跳動的畫質(zhì)評估工具：~https://www.infoq.cn/article/vsc9cclojx9mcotyurgt（https://mp.weixin.qq.com/s?__biz=MzU1NTEzOTM5Mw==&mid=2247512713&idx=2&sn=525ebd47bb4a8ecff2139bf8cf3dd260&scene=21#wechat_redirect）
