在約束最優(yōu)化問題中，拉格朗日對偶性將原始問題轉(zhuǎn)換為對偶問題，通過解對偶問題而得到原始問題的解。該方法在統(tǒng)計學習方法中得到廣泛的應(yīng)用

1. 原始問題

假設(shè)f(x)，ci(x),hj(x)是連續(xù)可微函數(shù)，考慮約束最優(yōu)化問題：

(1)原始問題

稱此約束最優(yōu)化問題為原始最優(yōu)化問題或原始問題。其中，ci(x) 表示不等式約束, hj(x) 表示等式約束。
引入廣義拉格朗日函數(shù)：

(2)廣義拉格朗日函數(shù)

其中， x 表示列向量， α , β 表示拉格朗日乘子，且 α>=0 ,考慮 x 的函數(shù)：

(3)極大原始問題

這里，下標 p 表示原始問題
個人理解：將 α ,β 看成是自變量，求極大值。假設(shè)給定某個 x ，如果 x 違反原始問題的約束條件，即存在某個 i ，使得ci(x)>0,或者存在某個 j，使得 hj(w)≠0，則可令 β 使 βhj(x)--->+∞，而將其與各 αi,βi 取為0.
相反，如果x滿足公式(1)原始問題的約束條件式，則可知：

因此，問題等價于：

所以考慮極小化問題：

廣義拉格朗日函數(shù)的極小極大問題

它與原始優(yōu)化問題(1)是完全等價的，兩者有相同的解。即：先求 max —— 先將 α , β 看成自變量求極大值，再求 min ——將 x 看成自變量求最小值。通過這樣的轉(zhuǎn)換，就把原始最優(yōu)化問題表示為廣義拉格朗日函數(shù)的極小極大問題，為便于表示，定義原始問題的最優(yōu)值：