去年用周末時間學(xué)習(xí)Andrew Ng的機器學(xué)習(xí)課程的時候, 講到了一個應(yīng)用, 就是用ica做聲音的分離, 實際的問題叫"Cocktail Party Problem". 因為也是做了挺長時間的音視頻處理的, 所以這個例子還是做了下, 也翻出來再分享下, 當然都是淺析, 畢竟深究的話需要耗費的精力就多了, 目前的工作狀態(tài)不允許 . 而且不會涉及深度神經(jīng)網(wǎng)絡(luò)等稍復(fù)雜的處理方法, 對這個問題的DNN解法感興趣的可以去(DNN), 這里希望能簡單的簡單的簡單的說清楚幾個詞BSS, ICA和PCA(劃掉是因為我越看資料越發(fā)現(xiàn)自己什么都不懂), 并且給大家看兩個demo.
首先這個問題是個無監(jiān)督學(xué)習(xí)的應(yīng)用, 屬于Blind Source Separation(盲源分離)范疇. 從基于傳感器陣列的信號處理角度, 還有個比較有意思的應(yīng)用叫BeamForming (BSS vs BF), 通常用于信號定位和定向增強, 有興趣的同志也可以了解下.
BSS有多種數(shù)學(xué)模型, 這里想說的BSS/ICA以獨立信號源的線性混合為前提, 并且是stationary的. 下圖比較形象的描述了這一過程(PCA), ICA的過程有一定的相似性, 這兩種方法通常也需要配合使用, 通常來說一個ICA過程, 需要先通過PCA做降維處理, 再通過ICA分離信源. 而且按照定義, 如果信源是高斯分布的, 還是叫正態(tài)分布吧, ICA和PCA本來也是等價的 :
BSS其實是一個典型的困難的信號處理問題, 具體的可以讀一讀這個介紹, 寫的很詳細(Intro to BSS). 像傅里葉的原理一樣, 需要通過向量空間的轉(zhuǎn)換來強化信號的不同, 但是不同于傅里葉, 這種轉(zhuǎn)化不是基于頻域的, 對信源的頻率沒有要求.
PCA (by 宋天龍, TonySong), 主成分分析, 鏈接是我認為比較明白親民的解釋, "主成分分析是一種降維方法。主成分分析Principal component analysis(PCA)也稱主分量分析，旨在利用降維的思想，把多維指標轉(zhuǎn)化為少數(shù)幾個綜合維度，然后利用這些綜合維度進行數(shù)據(jù)挖掘和學(xué)習(xí)，以代替原來利用所有維度進行挖掘?qū)W習(xí)的方法。" 降維的過程, 還是用Andrew的一張圖來表示下:
維度, 指的是一個數(shù)據(jù)集或者樣本集的隨機變量個數(shù), 簡單點的理解, 也可以更工程的理解為數(shù)據(jù)集中的向量數(shù)量. 描述兩個變量間的關(guān)系我們叫相關(guān)性, 通常歸一化到-1 到 1, ±1都表現(xiàn)為極強的相關(guān)性, 不過方向不同, 0表示不相關(guān). PCA的輸出維度數(shù)量小于等于原始的變量數(shù)量, 但通常都已經(jīng)不是一個可以被我們理解的業(yè)務(wù)特征, 所以會導(dǎo)致一些專家, 先驗經(jīng)驗不能很好的介入和優(yōu)化. 通常來說用于降維, 成分間具有這幾個特征:
- 主成分是原始變量的線性組合
- 成分間是正交的關(guān)系
- 方差從一個PC到最后一個是遞減的
關(guān)于理論分析, 分享一個之前下的文檔吧, 了解下就好. (PCA理論分析)
PCA通常應(yīng)用于人臉識別, 機器視覺, 圖片壓縮等領(lǐng)域的降維操作, 也會應(yīng)用于數(shù)據(jù)挖掘發(fā)現(xiàn)隱藏的數(shù)據(jù)patterns.
ICA, 獨立成分分析 "是一種利用統(tǒng)計原理進行計算的方法，它是一個線性變換，這個變換把數(shù)據(jù)或信號分離成統(tǒng)計獨立的非高斯的信號源的線性組合, 獨立成分分析并不能完全恢復(fù)信號源的具體數(shù)值，也不能解出信號源的正負符號、信號的級數(shù)或者信號的數(shù)值范圍，它能做的是將不同獨立的信號源進行按照特征進行分離" (TonySong). 這段話總結(jié)的很好, 感覺都不用再多說啥了.
關(guān)于ICA這塊, 以及demo還是下次再整理吧, 最近發(fā)版本太多事情, 寫的稍微有些倉促, 相關(guān)的應(yīng)用以后有機會多做一些, 手里有數(shù)據(jù)也有想法, 就是時間太少了.
(附) Ng 機器學(xué)習(xí)課程的全部視頻和文字資料, Ng-機器學(xué)習(xí), 視頻不能在線看的, 可以考慮用網(wǎng)易公開課, 緩存下來學(xué)習(xí).
