損失函數(shù)和代價函數(shù)是同一個東西，目標函數(shù)是一個與他們相關但更廣的概念，對于目標函數(shù)來說在有約束條件下的最小化就是損失函數(shù)（loss function）

舉個例子解釋一下:（圖片來自Andrew Ng Machine Learning公開課視頻）

不同程度的數(shù)據(jù)擬合

上圖從左至右依次為：線性擬合，二次擬合，多次擬合。人工智能的訓練其實就是調整其內部參數(shù)對輸入的數(shù)據(jù)擬合輸出數(shù)據(jù)。輸入數(shù)據(jù)為x，輸出數(shù)據(jù)為y‘，而真實的數(shù)據(jù)為y；那么為了表示擬合的好壞，就要使用一個函數(shù)來度量擬合的程度，例如RMS（y-y'）；這個度量擬合的程度就叫做損失函數(shù)，也稱為代價函數(shù)，因此訓練過程中，損失函數(shù)值越小，再結合損失函數(shù)的期望：風險函數(shù)以及平均風險函數(shù)的值，來評價模型的擬合程度，模型的擬合程度越強，其識別能力也就越強。

參考：https://www.zhihu.com/question/52398145