視頻質(zhì)量檢測
智能質(zhì)檢能力

• 支持對直播流進(jìn)行視頻質(zhì)量檢測、音頻質(zhì)量檢測、視音頻組合檢測、特定對象檢測，檢測項參考視頻技審能力
• 支持檢測出視頻采集和傳輸過程中質(zhì)量問題檢測，檢測項參考視頻技審能力
• 支持直播流內(nèi)容檢測，ts流傳輸流測試標(biāo)準(zhǔn)檢測
• 支持視頻質(zhì)量打分，打分標(biāo)準(zhǔn)基于Netflex VMAF指標(biāo)

音視頻內(nèi)容技審能力

1. 視頻技審能力包含：黑場檢測、靜幀檢測、夾幀檢測、彩條檢測、藍(lán)屏綠屏檢測、YUV超標(biāo)檢測、RGB超標(biāo)檢測、黑邊檢測、白邊檢測、模糊檢測、馬賽克檢測
2. 音頻技審能力包含：靜音檢測、音量檢測、VU超標(biāo)檢測、噪音檢測
3. 支持對TS 流指標(biāo)檢測：TS 流檢測內(nèi)容需具備ETSI TR 101 290 中所規(guī)定的傳輸流測試標(biāo)準(zhǔn)的第一、第二級檢測以及第三級的緩沖區(qū)檢測
4. 支持對文件質(zhì)量封裝、GOP結(jié)構(gòu)檢測
5. 高清節(jié)目自動審核，支持多并發(fā)，效率最高達(dá)4倍速
6. 支持特定對象識別，包括條形碼，二維碼內(nèi)容識別
7. 自動技審可手動配置檢測項參數(shù)模版

黑場檢測

實(shí)現(xiàn)原理
將畫面按照橫向和縱向劃分出相同大小區(qū)域，計算每個小塊中像素Y分量的均值，如果超出預(yù)設(shè)的閾值，則判斷這一幀畫面為黑場，其他未檢測的小塊不用繼續(xù)檢測。當(dāng)然，在很多正常視頻場景中，也有可能存在短暫時間黑場現(xiàn)象，但一般時間不會持續(xù)太長，因此還需要設(shè)定一個時間閾值，如果連續(xù)出現(xiàn)黑場累加到一定程度則報警，否則認(rèn)為是正常的黑場現(xiàn)象

藍(lán)屏/綠屏檢測

實(shí)現(xiàn)原理

image.png

判斷每個小塊中所有像素綠色和紅色通道分量占比是否小于預(yù)設(shè)閾值，藍(lán)色通道像素取值是否集中于同一值附近
判斷每個小塊中所有像素藍(lán)色和紅色通道分量占比是否小于預(yù)設(shè)閾值，綠色通道像素取值是否集中于同一值附近
同理，如果出現(xiàn)連續(xù)綠屏/藍(lán)屏累加到一定程度則報警

黑邊檢測/白邊檢測

實(shí)現(xiàn)原理
取畫面四角靠近頂點(diǎn)的位置作為參考點(diǎn)，分別計算出與4個參考點(diǎn)和某點(diǎn)的RGB分量差值，以左上角為例，從左到右遍歷，直達(dá)找出不滿足RGB分量差值同時小于預(yù)設(shè)值的位置，記錄橫軸位置x1，同理求出x2，y1，y2的位置，(x1, y1) (x2, y2)即是裁剪區(qū)域信息，然后通過裁剪區(qū)域顏色值判斷黑邊，白邊。如果出現(xiàn)連續(xù)黑邊/白邊累加到一定程度則報警

模糊檢測

實(shí)現(xiàn)原理
畫面經(jīng)過模糊后，畫面高頻分量會大大降低，如果圖片有較多的高頻成分，則該圖片就是較為清晰的。相反，如果圖片有較少的高頻成分，則該圖片可以認(rèn)為是相對模糊的。為了加快檢測速度，可以將圖片預(yù)處理為灰度圖片，灰度圖高頻信息基本不會有改變
基于上述原理，先針對原始圖像用拉普拉斯算子進(jìn)行濾波，然后求結(jié)果圖像的均值方差，如果方差小于預(yù)設(shè)的閾值則圖片視為模糊。因為某些純色圖片也沒有高頻分量，因此最后還要過濾掉這種場景，通過直方圖判斷圖像像素是否集中在某一值附近來過濾。如果出現(xiàn)連續(xù)模糊累加到一定程度則報警

夾幀檢測

實(shí)現(xiàn)原理
只要出現(xiàn)相隔很近的兩次畫面驟變，就可判定為夾幀。

image.png

image.png

首先判斷畫面是否出現(xiàn)驟變，將整個畫面劃分為幾個相等面積的區(qū)域，當(dāng)畫面連續(xù)正常變化時，將會存在大部分區(qū)域視覺上變化很小，對于每個區(qū)域亮度值的差異通過計算當(dāng)前畫面和前一幀畫面亮度值差值，判斷是否在預(yù)設(shè)閾值之內(nèi)來判定是否出現(xiàn)驟變，當(dāng)畫面出現(xiàn)驟變時，通過判斷上一次驟變間的間隔時間，是否超出預(yù)設(shè)的間隔閾值，來判定是否出現(xiàn)夾幀，若大于間隔閾值，則表示兩次畫面驟變之間的畫面已經(jīng)足夠人眼分辨出其場景內(nèi)容，因此不能判斷為夾幀，反之表示畫面場景變換過快，人眼來不及辨認(rèn)，從而判斷為夾幀。

馬賽克檢測

image.png

實(shí)現(xiàn)原理
馬賽克是畫面中出現(xiàn)一系列小矩形塊，導(dǎo)致畫面無法看清的現(xiàn)象。
從馬賽克的圖像可以看出，這些單色塊之間顏色是不同的，而且與非馬賽克塊之間也是不同的，因此考慮用邊緣檢測算法來找出可能的馬賽克區(qū)域
邊緣檢測后，可以看到馬賽克區(qū)域有明顯的矩形框和不完整的矩形框，必須識別這些矩形框，才能繼續(xù)判斷。這里我們采用輪廓查找方法，找出所有輪廓。因為馬賽克片段都是矩形，需要進(jìn)一步過濾掉非矩形輪廓，尋找矩形框，這里采用opencv提供的函數(shù)approxPolyDP進(jìn)行多邊形擬合，主要功能是把一個連續(xù)光滑曲線折線化，對圖像輪廓點(diǎn)進(jìn)行多邊形擬合
多邊形擬合過后，方形輪廓應(yīng)具有4個頂點(diǎn)，判斷多邊形是否是四邊形，然后過濾掉一些非規(guī)則4邊形（兩條邊與x，y軸不平行），最后求輪廓邊緣之間角度的最大余弦值是否接近0來判定是否是馬賽克區(qū)域，將馬賽克區(qū)域面積占比與給定閾值比較，超過給定閾值則判定畫面存在馬賽克

彩條檢測

彩條模版

image.png

彩條直方圖

image.png

image.png

實(shí)現(xiàn)原理
從彩條特征來看，它由8個面積大致相等的不同顏色區(qū)域組成，這些顏色區(qū)域的顏色都是單色的，從左到右依次為：白、黃、青、綠、品紅、紅、藍(lán)、黑，且垂直分布，從彩條的直方圖可以看出每個灰度像素的個數(shù)幾乎相等，如果沒有噪音干擾，那么只有8個灰度值，基于這些特征，可以采用圖像分割的方法，將畫面劃分為8個大小相等的小塊，可以采用K-聚類算法
將畫面劃分為8條等寬區(qū)域，對于每個豎條所在區(qū)域判斷顏色值是否集中在某一值附近，同時滿足這個條件表明存在8條等寬顏色區(qū)域，然后判斷豎條顏色從左到右是否是白，黃，青，綠，粉紅，紅，藍(lán)，黑，最后通過計算飽和度和幅度值判斷是100%彩條還是75%彩條或者其他彩條。如果出現(xiàn)連續(xù)彩條累加到一定程度則報警
飽和度 = 1 - min(R, G, B) / max(R, G, B)
幅度 = max(R, G, B) / White(R, G, B)

音頻噪音檢測

實(shí)現(xiàn)原理
基于webrtc ns模塊，使用語音/噪聲似然函數(shù)進(jìn)行估計。通過重采樣為16K頻率音頻信號，計算固定時長（10ms）音頻采樣點(diǎn)的信噪比以及噪音估計概率，判斷信噪比和噪音估計概率是否同時位于預(yù)設(shè)的經(jīng)驗值區(qū)間內(nèi)，如果出現(xiàn)連續(xù)噪音累加到一定程度則報警

音頻靜音檢測/VU超標(biāo)檢測/音量檢測

實(shí)現(xiàn)原理
分別計算每一幀音頻信號的分貝值，單位取dBFS，判斷是否小于-60dBFS和-54dBFS
dBFS計算公式 :
dBFS = 20 * log10(value / FULLSCALE);
FULLSCALE為全分貝刻度，以數(shù)字音頻為16位無符號數(shù)為例，F(xiàn)ULLSCALE為65536
音頻音量單位取dB計算，默認(rèn)隔500ms計算一次音頻音量，這里直接采用ffmpeg濾鏡來計算音頻最大音量作為音頻的音量

YUV/RGB超標(biāo)檢測

實(shí)現(xiàn)原理
圖像的亮度和色調(diào)超出了給定的范圍，就是YUV/RGB超標(biāo)。
其中RGB超標(biāo)3個通道分量需要做模數(shù)轉(zhuǎn)換，模數(shù)轉(zhuǎn)換公式
Digital = (v - 16) * 3.1963
RGB超標(biāo)范圍
R/G/B : -35～735
YUV超標(biāo)范圍
Y：14~242
U/V: 16~240

靜幀檢測

實(shí)現(xiàn)原理
將畫面劃分為相同面積小塊，計算每個小塊差值絕對值的累加，如果超過前一個圖像小塊的結(jié)果的t倍，那么比較的兩幀小的部分就是不同的，否則就是相同的。如果相同圖像幀數(shù)累加到一定程度則報警

TS流指標(biāo)檢測

檢測內(nèi)容：TS 流檢測內(nèi)容需具備ETSI TR 101 290 中所規(guī)定的傳輸流測試標(biāo)準(zhǔn)的第一、第二級檢測以及第三級的緩沖區(qū)檢測
檢測標(biāo)準(zhǔn)參考TR 101 290協(xié)議標(biāo)準(zhǔn)，包括第一級6種錯誤，第二級7種錯誤和第三級11種錯誤場景

級別 錯誤類型
一級錯誤 同步丟失錯誤
同步字節(jié)錯誤，同步字節(jié)不等于0x47
PAT錯誤，PAT間隔大于0.5s
連續(xù)計數(shù)錯誤
PMT錯誤，PMT間隔時間大于0.5s
PID錯誤，PMT關(guān)聯(lián)的PID沒有及時到達(dá)

二級錯誤
傳輸錯誤，TS 包的傳輸錯誤指示為 1
CRC錯誤
PCR間隔錯誤，間隔超過40ms
PCR不連續(xù)錯誤
PCR精度錯誤，精度誤差超過正負(fù)500ns
PTS錯誤，間隔超過700ms
CAT錯誤

三級錯誤
NIT ID錯誤
NIT其他錯誤
SI 表間隔錯誤
關(guān)聯(lián)PID錯誤
SDT ID錯誤和間隔錯誤
SDT其他錯誤
EIT ID錯誤和間隔錯誤
EIT PF錯誤
EIT其他錯誤
RST錯誤
TDT錯誤