@[toc] 參考文獻 An Image is Worth 16x16 Words: Transformers for Image Recogn...
1 拉格朗日乘子法的數(shù)學(xué)背景 當使用前面介紹的罰函數(shù)法求解約束問題時,為獲得足夠好的近似解,罰參數(shù)需取足夠大的值,這將導(dǎo)致增廣目標函數(shù)的黑...
1 約束最優(yōu)化問題 1.1 約束最優(yōu)化問題的基本結(jié)構(gòu) 在我們討論完無約束最優(yōu)化問題后,我們接著討論約束最優(yōu)化問題。在無約束最優(yōu)化問題中,我...
1 基本數(shù)學(xué)表達 在前面3節(jié)中,我們使用了不同下降方法來求解同一個非線性最小二乘問題,但其實非線性最小二乘問題只是這些下降方法能夠求解的問...
1 共軛方向的定義 對于正定二次函數(shù),其中是對角陣,對角元均為正數(shù),這種情況下函數(shù)關(guān)于原點中心對稱,每列由一個n元向量組成,向著每個維度,...
1 擬牛頓法的數(shù)學(xué)基礎(chǔ) 對于牛頓法,我們保留其快速收斂性,同時克服牛頓法黑森矩陣需要正定的問題以及避免計算黑森矩陣以減少計算量,我們提出了...
1 下降算法中的搜索方向 1.1 下降方向的判定 根據(jù)泰勒展開,忽略極小項后,我們可以在點處找到的一條切線,這條切線的斜率是。我們不難得出...
在上節(jié)中本教程介紹了迭代搜索的基本步驟??紤]基本步驟中的每一步的基本元素:步長、下降方向和終止準則,其中終止準則是我們已經(jīng)明確給出的,而步長和下...
1 最優(yōu)化問題 1.1 什么是最優(yōu)化問題 最優(yōu)化問題大體上分為連續(xù)最優(yōu)化問題和離散最優(yōu)化問題兩種。后者涉及到離散數(shù)學(xué)、組合數(shù)學(xué)等學(xué)科,屬于...