最優(yōu)化問題可以按照優(yōu)化問題的狀態(tài)來進行分類，可分了兩類，即靜態(tài)問題和動態(tài)問題。本優(yōu)化方法系列主要從靜脈問題方面進行記錄，總結與概述。主要目的是便于以后查看和復習使用。

圖1 最優(yōu)化問題按照狀態(tài)分類圖

無約束優(yōu)化方法

無約束方法可以從利用不同階數(shù)的導數(shù)信息進行劃分，即沒有利用導數(shù)信息的直接求解最優(yōu)解的方法、利用一階導數(shù)的梯度方法、利用二階導數(shù)的牛頓系列方法。這些方法是比較傳統(tǒng)的無約束優(yōu)化算法，后來學者又提出一些啟發(fā)式的優(yōu)化算法，比如遺傳算法、模擬退火等等。

圖2 無約束優(yōu)化方法分類示例

約束優(yōu)化方法可以分為直接方法和間接方法。直接法的含義：在可行域內，通過構造一定的搜索模式，直接求得約束問題的最優(yōu)解；間接法的含義：構造一個新的目標函數(shù)，將原問題轉換為無約束優(yōu)化問題，通過求解無約束優(yōu)化問題，間接獲得約束優(yōu)化問題的最優(yōu)解。

圖3 約束優(yōu)化方法分類示例

該系列后續(xù)章節(jié)，我們會從無約束優(yōu)化方法聊起，再總結有約束的優(yōu)化方法。 并對一些方法通過matlab進行實現(xiàn)，給一些直觀的示例。?