1、機器學習中的數(shù)值計算

? ??????概念解釋：通常是指通過迭代過程更新解的估計值來解決數(shù)學問題的算法（而非通過解析過程推導出公式來提供正確解的辦法）

? ??????常見操作：優(yōu)化；線性方程組的求解。

? ??????困難：實數(shù)無法在數(shù)字計算機的有限內(nèi)存下精確表示，所以我們都是通過有限數(shù)量的位模式來表示無限多的實數(shù)，因此往往會引入一些舍入誤差，舍入誤差累積可能會導致算法失效，例如造成上溢或下溢。

1.1 上溢和下溢

????????概念解釋：

????????????下溢：當接近零的數(shù)被四舍五入為零時發(fā)生下溢。許多函數(shù)在其參數(shù)為零會發(fā)生異常，如除數(shù)為零、取零的對數(shù)等。

????????????上溢：當大量級的數(shù)被近似為∞ \infty∞ 或?∞ -\infty?∞ 時發(fā)生上溢。進一步的運算通常會導致這些無限值變?yōu)榉菙?shù)字。

????????上溢下溢的解決實例——softmax函數(shù)：

????????????概念：softmax函數(shù)經(jīng)常被用來預測與多項式分布相關聯(lián)的概率，公式為：

????????????特例：所有的= c時，當c無窮小，分母為0，下溢，c無窮大，上溢；

?????????????解決方案：

? ??????????????????;

????????????????????exp最大參數(shù)值為0，排除上溢；

????????????????????分母中必有一個1，排除下溢；

1.2 病態(tài)條件

? ??????條件數(shù)：函數(shù)相對輸入的微小變化而變化的快慢程度（輸入的輕微變化導致輸出的大幅改變）。

? ??????病態(tài)條件：因本身特性引起的輸出對輸入誤差的敏感性。