算法崗面試——數(shù)學(xué)基礎(chǔ)總結(jié)

在牛客網(wǎng)上的好資源真的很多，根據(jù)?？途W(wǎng)算法面試寶典寫份總結(jié)，希望在面試過程中能好好表現(xiàn)。

1. 微積分

• SGD,Momentum,Adagard,Adam原理

SGD為隨機(jī)梯度下降,每一次迭代計(jì)算數(shù)據(jù)集的mini-batch的梯度,然后對參數(shù)進(jìn)行跟新。

Momentum參考了物理中動(dòng)量的概念,前幾次的梯度也會(huì)參與到當(dāng)前的計(jì)算中,但是前幾輪的梯度疊加在當(dāng)前計(jì)算中會(huì)有一定的衰減。

Adagard在訓(xùn)練的過程中可以自動(dòng)變更學(xué)習(xí)的速率,設(shè)置一個(gè)全局的學(xué)習(xí)率,而實(shí)際的學(xué)習(xí)率與以往的參數(shù)模和的開方成反比。

Adam利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率,在經(jīng)過偏置的校正后,每一次迭代后的學(xué)習(xí)率都有個(gè)確定的范圍,使得參數(shù)較為平穩(wěn)。

• L1不可導(dǎo)的時(shí)候該怎么辦

L0范數(shù)是指向量中非0的元素的個(gè)數(shù)。

L1范數(shù)是指向量中各個(gè)元素絕對值之和。

L2范數(shù)是指向量各元素的平方和然后求平方根。

• sigmoid函數(shù)特性

公式

形狀

定義域?yàn)?div id="u0z1t8os" class="image-package">

值域?yàn)?0,1)

2.統(tǒng)計(jì)學(xué)概率論

• 最大似然估計(jì)和最大后驗(yàn)概率的區(qū)別?

最大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來評估模型參數(shù)的方法,而最大似然估計(jì)中的采樣滿足所有采樣都是獨(dú)立同分布的假設(shè)。
最大后驗(yàn)概率是根據(jù)經(jīng)驗(yàn)數(shù)據(jù)獲難以觀察量的點(diǎn)估計(jì),與最大似然估計(jì)最大的不同是最大后驗(yàn)概率融入了要估計(jì)量的先驗(yàn)分布在其中,所以最大后驗(yàn)概率可以看做規(guī)則化的最大似然估計(jì)。

• 什么是共軛先驗(yàn)分布

假設(shè)為總體分布中的參數(shù)，的先驗(yàn)密度函數(shù)為，而抽樣信息算得的后驗(yàn)密度函數(shù)與具有相同的函數(shù)形式,則稱為的共軛先驗(yàn)分布。

3.線性代數(shù)

• 編輯距離（語音識別中的詞錯(cuò)誤率經(jīng)常使用該方法）

定義：兩個(gè)字串之間，由一個(gè)轉(zhuǎn)成另一個(gè)所需的最少編輯操作次數(shù)，如果它們的距離越大，說明它們越是不同。許可的編輯操作包括將一個(gè)字符替換成另一個(gè)字符，插入一個(gè)字符，刪除一個(gè)字符。

作用：比較兩個(gè)字符串的相似度

算法步驟：
1.str1或str2的長度為0返回另一個(gè)字符串的長度。
2.初始化(n+1)(m+1)的矩陣d，并讓第一行和列的值從0開始增長。掃描兩字符串（nm級的），如果：str1[i] == str2[j]，用temp記錄它，為0。否則temp記為1。然后在矩陣d[i,j]賦于d[i-1,j]+1 、d[i,j-1]+1、d[i-1,j-1]+temp三者的最小值。
3.掃描完后，返回矩陣的最后一個(gè)值d[n][m]即是它們的距離。