概率論基礎(chǔ)
概率，條件概率，獨(dú)立性，分布函數(shù)，隨機(jī)變量，隨機(jī)變量的函數(shù)，統(tǒng)計平均，特征函數(shù)。
概率沒啥可說的。
條件概率就是在給定信息下的概率，信息會導(dǎo)致概率的變化。明天下大雨的概率和已知明天下雨，下大雨的概率顯然是不同的。
獨(dú)立性就是事件的無關(guān)性，可以進(jìn)行概率乘積，還可以引申到條件獨(dú)立性，在一定條件下，事件是無關(guān)的。獨(dú)立性可以解耦，使問題簡化。
分布函數(shù)就是隨機(jī)變量取不同值的概率，反映了一種直觀地取值的比重。df和pdf也是經(jīng)常用到的。pdf就是概率密度函數(shù)，對于連續(xù)型隨機(jī)變量是很好用的表示方法，可以輕松得知某一個取值的可能性是大還是小。
隨機(jī)變量就是對事件集的一種表示，使用高概的定義，就是一個可測函數(shù)，可測函數(shù)總能表示為一個測度，所以也算是事件集的第二個測度隨機(jī)變量測度，第一個就是概率測度，他們相結(jié)合進(jìn)行積分就可以獲得隨機(jī)變量的均值。
統(tǒng)計平均就是均值，或者數(shù)學(xué)期望，也就是對概率測度的積分。對于離散型，就是隨機(jī)變量值乘上對應(yīng)概率值的求和?？梢酝ㄟ^矩來表示，一階原點(diǎn)矩就是均值，二階中心矩就是方差。中心矩就是相對于均值的差。
特征函數(shù)就是考慮了傅里葉變換的隨機(jī)變量表示，將概率密度函數(shù)轉(zhuǎn)變?yōu)楦道锶~基的形式，給出了新的頻譜。之所以使用概率密度函數(shù)，是由于傅里葉積分的收斂條件，需要平方可積，概率密度函數(shù)總可以滿足，而且，這讓我想起了量子力學(xué)中的概率描述，坐標(biāo)和動量表象，也是使用了傅里葉變換。特征函數(shù)有很好的性質(zhì)，一個是獨(dú)立的隨機(jī)變量和的特征函數(shù)，等于分別的特征函數(shù)的積。是一個變化的結(jié)構(gòu)保持性質(zhì)。f(a+b)=f(a)f(b)，也可以視為加群到乘群的同態(tài)。還有就是隨機(jī)變量各階原點(diǎn)矩可以通過對特征函數(shù)求各階導(dǎo)數(shù)獲得，大大簡化了運(yùn)算。而且，由于微分和矩的關(guān)系，所以，特征函數(shù)的泰勒展開就是隨機(jī)變量按各階矩展開，這就將隨機(jī)變量和它的各階矩聯(lián)系起來了。
隨機(jī)信號
隨機(jī)信號，分類，隨機(jī)過程的統(tǒng)計特征，隨機(jī)序列的統(tǒng)計特征
隨機(jī)信號就是隨時間變化的隨機(jī)變量，可以視為一族隨機(jī)變量的集合，每一個時刻都有一個隨機(jī)變量，時間就是這一族隨機(jī)變量的索引，可以類比函數(shù)族，一個參數(shù)索引的函數(shù)族f_t(x)，也就是二元函數(shù)f(x,t)，可以通過范疇論中的指數(shù)結(jié)構(gòu)表達(dá)，一個二元函數(shù)可以視為參數(shù)索引的一元函數(shù)族。
分類，按照參數(shù)參數(shù)的性質(zhì)，分為連續(xù)時間的和離散時間的，通常稱為隨機(jī)過程和隨機(jī)序列。按照隨機(jī)變量的性質(zhì)，也可分為連續(xù)型和離散型，組合起來就有其中類型了。最一般的情況就是連續(xù)型隨機(jī)過程。還有一種分類就是考慮到了特殊的性質(zhì)，包括平穩(wěn)隨機(jī)過程，高斯過程，白噪聲，獨(dú)立增量過程，獨(dú)立隨機(jī)過程，馬爾科夫過程。這些在后面才會進(jìn)行解釋。其實(shí)，本質(zhì)就是一種聯(lián)系性，如果所有時刻的隨機(jī)變量毫無關(guān)聯(lián)，那就是最一般的情況，很難處理，但現(xiàn)實(shí)是他們是有關(guān)聯(lián)的，所以可以進(jìn)行簡化，得到獨(dú)有的性質(zhì)。
統(tǒng)計特征，一種描述方式是分布函數(shù)和密度函數(shù)，對每一個時刻而言，隨機(jī)過程都只是一個隨機(jī)變量，自然可以得到它的分布函數(shù)和密度函數(shù)，多取幾個時刻，就可以視為維度的增加，就有對應(yīng)的聯(lián)合分布和聯(lián)合密度，但是，我們都知道時間是連續(xù)的，所以每一個時間區(qū)間都有無數(shù)個不同的時刻，對應(yīng)的就是無窮維分布函數(shù)，這就過于復(fù)雜了，所以這種描述方法只限于有限的幾個時刻的局部性質(zhì)，很難用來描述整體特征。
所以，就使用了另外的描述方式，數(shù)字特征，也就是均值，方差，相關(guān)系數(shù)。均值和方差的定義與一維隨機(jī)變量差不多，不過，現(xiàn)在它是一個隨時間變化的函數(shù)。畢竟每一個時刻都是一個一維隨機(jī)變量。
相關(guān)系數(shù)則發(fā)生了很多變化。相關(guān)系數(shù)是用來描述兩個不同的隨機(jī)變量的聯(lián)系的，關(guān)鍵在于隨機(jī)過程中，這個不同有很多種產(chǎn)生方式，一個是同一隨機(jī)過程，不同的時刻，這就是自相關(guān)函數(shù)，一個是不同隨機(jī)過程，不同的時刻，這就是互相關(guān)函數(shù)。而根據(jù)采用的權(quán)值的不同，比如一個是原點(diǎn)矩，一個是中心矩。又需要細(xì)分，對于同一隨機(jī)過程而言，使用原點(diǎn)矩就簡稱為自相關(guān)函數(shù)，而使用中心矩就稱為協(xié)方差函數(shù)或者中心化自相關(guān)函數(shù)。
關(guān)于協(xié)方差，他也是定義相關(guān)系數(shù)不可缺少的部分，畢竟相關(guān)系數(shù)就是協(xié)方差除上兩分布的方差的平方根，方差的平方根也稱為標(biāo)準(zhǔn)差。
對于不同隨機(jī)過程而言，使用原點(diǎn)矩就簡稱為互相關(guān)函數(shù)，而使用中心矩就稱為互協(xié)方差函數(shù)或者中心化互相關(guān)函數(shù)。也就是一字之差。
然后是獨(dú)立性的推廣，在隨機(jī)過程中，有好幾種不同的獨(dú)立性。
一個是統(tǒng)計獨(dú)立，指的是兩個隨機(jī)過程，當(dāng)視為兩族隨機(jī)變量時，是彼此獨(dú)立的，也就是任意相同或者不同時刻，兩隨機(jī)過程對應(yīng)的兩個隨機(jī)變量是獨(dú)立的，具體表現(xiàn)為聯(lián)合分布的可乘性，直接推論是互相關(guān)函數(shù)是兩個隨機(jī)變量均值的乘積，并且互協(xié)方差函數(shù)為零，也就是相關(guān)性為零。
一個是不相關(guān)，指互協(xié)方差函數(shù)為零。這里涉及的僅僅是一階矩關(guān)系，而分布函數(shù)涉及各階矩關(guān)系，所以相關(guān)性比獨(dú)立性要弱。獨(dú)立必然不相關(guān)，不相關(guān)卻未必獨(dú)立。
還有一個是正交，指互相關(guān)函數(shù)為零。這里的正交更像是內(nèi)積所定義幾何性質(zhì)，熟悉泛函分析中希爾伯特空間理論的人應(yīng)該對比不陌生，R_XY(t1,t2)=E(X(t1),Y(t2))就像一種內(nèi)積，接受兩個隨機(jī)變量，給出一個數(shù)。兩族隨機(jī)變量間內(nèi)積為零，就是正交。
最后是隨機(jī)過程的特征函數(shù)，這個和一維隨機(jī)變量是一致的，同樣可以通過特征函數(shù)方便的求得各階矩，特殊的，對于同一隨機(jī)過程在不同時刻所構(gòu)成的二維隨機(jī)變量的特征函數(shù)，可以求得自相關(guān)函數(shù)。
隨機(jī)序列的數(shù)字特征，隨機(jī)序列就是對隨機(jī)過程的離散取樣，所以，可以使用向量和矩陣的語言來描述，就像泛函分析中的函數(shù)空間和序列空間一樣，對應(yīng)的可以定義均值向量，自相關(guān)矩陣，協(xié)方差矩陣。這兩個矩陣都滿足對稱性，半正定性，也是意料之中，畢竟是可交換的，自然就是對稱的，半正定還不太明白，雖然從公式上可以推得，但缺乏直觀事實(shí)。
