一.多元線性回歸方程

假設(shè)樣本中有m個特征量，那么對應(yīng)的線性回歸方程如下
$\hat{y} =\theta_{1} x_{1} + \theta_{2} x_{2} +...+ \theta_{m} x_{m}$

二.損失函數(shù)的構(gòu)造

假設(shè)樣本中有n個訓(xùn)練集

訓(xùn)練集

Loss=\frac{1}{2n} \sum_{i=1}^n(y_{i} -\hat{y}_ {i} )

在m個輸出變量y中，用實際值減去回歸方程中的預(yù)測值，平方求和再求均值來反映回歸方程中的輸出值與實際輸出值的偏差程度平方求和可以避免

y_{i} -\hat{y}_ {i}

不同的正負(fù)情況在求和過程中抵消偏差，假如對于某一列中

y_{i} -\hat{y}_ {i}

,另一列中

y_{i} -\hat{y}_ {i}

,實際這兩列都有偏差，不平方的的話對應(yīng)損失為0，顯然不妥。

三.迭代過程

利用梯度下降原理來將損失函數(shù)不斷變小直至收斂，如果對梯度下降不是很清楚的話，可以了解梯度下降和線性回歸（一）附python代碼實現(xiàn) - 簡書。
$\theta _{i} =\theta _{i} -\alpha \frac{\sigma L(\theta )}{\sigma \theta_{i} }$
$b=b-\alpha \frac{\sigma L(\theta )}{\sigma b }$
$\hat{y}_{i} =\theta_{1} x_{i1} + \theta_{2} x_{i2} +...+ \theta_{m} x_{im}$
$Loss=\frac{1}{2n} \sum_{i=1}^n(y_{i} -\hat{y}_ {i} )$
$\frac{\sigma L(\theta )}{\sigma \theta_{i} } =-\frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )\frac{1}{n} \sum_{i=1}^n x_{i}$
$\frac{\sigma L(\theta )}{\sigma b } =-\frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )$
所以：
$\theta _{i} =\theta _{i} +\frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )\frac{1}{n} \sum_{i=1}^n x_{i}$
$b=b+\alpha \frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )$

四.利用多元線性回歸分析波士頓房價

#調(diào)用庫

import matplotlib.pyplot as plt

import numpy as np

import pandas as pd

import math

#查看數(shù)據(jù)集的前30行

df = pd.read_csv("波士頓房價2.csv", index_col=None)

df.head(30)  # 查看數(shù)據(jù)集的前30行

效果如下：

訓(xùn)練集

需要下載數(shù)據(jù)集的可以訪問百度網(wǎng)盤請輸入提取碼,提取碼1p23

CRIM=floor.loc[:,'CRIM'].values
ZN=floor.loc[:,'ZN'].values
INDUS=floor.loc[:,'INDUS'].values
CHAS=floor.loc[:,'CHAS'].values
NOX=floor.loc[:,'NOX'].values
RM=floor.loc[:,'RM'].values
AGE=floor.loc[:,'AGE'].values
DIS=floor.loc[:,'DIS'].values
RAD=floor.loc[:,'RAD'].values
TAX=floor.loc[:,'TAX'].values
PTRATIO=floor.loc[:,'PTRATIO'].values
LSTAT=floor.loc[:,'LSTAT'].values
MEDV=floor.loc[:,'MEDV'].values

各個特征量含義如下：
CRIM: 城鎮(zhèn)人均犯罪率
ZN: 住宅用地所占比例
INDUS: 城鎮(zhèn)中非住宅用地所占比例
CHAS: 虛擬變量,用于回歸分析
NOX: 環(huán)保指數(shù)
RM: 每棟住宅的房間數(shù)
AGE: 1940 年以前建成的自住單位的比例
DIS: 距離 5 個波士頓的就業(yè)中心的加權(quán)距離
RAD: 距離高速公路的便利指數(shù)
TAX: 每一萬美元的不動產(chǎn)稅率
PTRATIO: 城鎮(zhèn)中的教師學(xué)生比例
B: 城鎮(zhèn)中的黑人比例
LSTAT: 地區(qū)中有多少房東屬于低收入人群
MEDV: 自住房屋房價中位數(shù)（也就是均價）
在進行梯度下降前，我們需要分割一下數(shù)據(jù)集，查看數(shù)據(jù)集大小后，按8:2的比例，將數(shù)據(jù)集的前406行作為訓(xùn)練集，后面100行作為測試集

訓(xùn)練集大小

測試集劃分

測試集

受能力影響，筆者用最比較繁瑣的代碼實現(xiàn)了梯度下降更新，如果熟悉矩陣乘法，需要簡單的實現(xiàn)，可以參考多元線性回歸-波士頓房價預(yù)測問題python_W_yu_cheng的博客-CSDN博客_波士頓房價問題數(shù)學(xué)建模。代碼如下

#梯度下降法優(yōu)化擬合方程
#設(shè)定參數(shù)
learning_rate = 0.001
l=len(MEDV)-106
#損失函數(shù)
def L(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return pow(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y,2)/(2*l)
#損失函數(shù)關(guān)于theta1求偏導(dǎo)
def L1(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x1*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta2求偏導(dǎo)
def L2(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x2*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta3求偏導(dǎo)
def L3(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x3*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta4求偏導(dǎo)
def L4(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x4*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta5求偏導(dǎo)
def L5(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x5*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta6求偏導(dǎo)
def L6(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x6*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta7求偏導(dǎo)
def L7(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x7*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta8求偏導(dǎo)
def L8(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x8*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta9求偏導(dǎo)
def L9(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x9*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta10求偏導(dǎo)
def L10(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x10*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta11求偏導(dǎo)
def L11(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x11*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta12求偏導(dǎo)
def L12(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x12*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)關(guān)于theta0求偏導(dǎo)
def L13(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數(shù)值變化記錄數(shù)組
Loss=[]
#未迭代時的損失函數(shù)
Loss0=0
for i in range(l):
    Loss0=Loss0+L(CRIM[i],ZN[i],INDUS[i],CHAS[i],NOX[i],RM[i],AGE[i],DIS[i],RAD[i],TAX[i],PTRATIO[i],LSTAT[i],MEDV[i],10,10,10,10,10,10,10,10,10,10,10,10,10)
Loss.append(Loss0)
#初始化theta0 theta1
theta0=10
theta1=10
theta2=10
theta3=10
theta4=10
theta5=10
theta6=10
theta7=10
theta8=10
theta9=10
theta10=10
theta11=10
theta12=10
#進行迭代
for i in range(2000):
    dertheta0=0
    dertheta1=0
    dertheta2=0
    dertheta3=0
    dertheta4=0
    dertheta5=0
    dertheta6=0
    dertheta7=0
    dertheta8=0
    dertheta9=0
    dertheta10=0
    dertheta11=0
    dertheta12=0
    dertheta13=0
    Loss1=0
    for j in range(l):
        dertheta0=dertheta0+L13(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta1=dertheta0+L1(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta2=dertheta0+L2(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta3=dertheta0+L3(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta4=dertheta0+L4(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta5=dertheta0+L5(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)   
        dertheta6=dertheta0+L6(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta7=dertheta0+L7(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)  
        dertheta8=dertheta0+L8(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12) 
        dertheta9=dertheta0+L9(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta10=dertheta0+L10(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta11=dertheta0+L11(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta12=dertheta0+L12(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
    theta0=theta0+learning_rate*dertheta0
    theta1=theta1+learning_rate*dertheta1
    theta2=theta2+learning_rate*dertheta2
    theta3=theta3+learning_rate*dertheta3
    theta4=theta4+learning_rate*dertheta4
    theta5=theta5+learning_rate*dertheta5
    theta6=theta6+learning_rate*dertheta6
    theta7=theta7+learning_rate*dertheta7
    theta8=theta8+learning_rate*dertheta8
    theta9=theta9+learning_rate*dertheta9
    theta10=theta10+learning_rate*dertheta10
    theta11=theta11+learning_rate*dertheta11
    theta12=theta12+learning_rate*dertheta12
    for k in range(l):
        Loss1=Loss1+L(CRIM[k],ZN[k],INDUS[k],CHAS[k],NOX[k],RM[k],AGE[k],DIS[k],RAD[k],TAX[k],PTRATIO[k],LSTAT[k],MEDV[k],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
    Loss.append(Loss1)

在梯度下降更新完成后，我們來看一下?lián)p失函數(shù)的收斂曲線圖

損失函數(shù)收斂圖

將特征變量放入一個數(shù)組中

特征變量數(shù)組

最后我們來查看一下測試集情況

for i in range(100):

    print("true:\t{}".format(test_y[i]),end="\t")

    pre = np.dot(theta,test_x[i])+theta0

    print("guess:\t{}".format(pre))

plt.show()

測試集情況

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

梯度下降和線性回歸（二）波士頓房價python代碼實現(xiàn)

梯度下降和線性回歸（二）波士頓房價python代碼實現(xiàn)

一.多元線性回歸方程

二.損失函數(shù)的構(gòu)造

三.迭代過程

四.利用多元線性回歸分析波士頓房價

測試集劃分

將特征變量放入一個數(shù)組中

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

梯度下降和線性回歸（二）波士頓房價python代碼實現(xiàn)

一.多元線性回歸方程

二.損失函數(shù)的構(gòu)造

三.迭代過程

四.利用多元線性回歸分析波士頓房價

測試集劃分

將特征變量放入一個數(shù)組中

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av