這里就不仔細(xì)介紹 原理了
詳細(xì)的原理請(qǐng)參考吳恩達(dá) 深度學(xué)習(xí) 課程 移步網(wǎng)易教育好啦
PS：我也有寫視頻課的筆記 如果覺(jué)得有問(wèn)題可以閱覽一下我的筆記哦 也許有提到你的疑問(wèn)啦 我是按照自己聽(tīng)課的時(shí)候思維邏輯寫的筆記
（超小聲：有夠懶的 筆記不知道什么時(shí)候才會(huì)跟著補(bǔ)完……

我知道寫下這些可能沒(méi)有人會(huì)看到 但都是我一行一行寫的代碼
如果你看到了 給我點(diǎn)個(gè)贊吧 鼓勵(lì)一下小朋友吧 :b

下面的代碼都是jupyter notebook
可以直接運(yùn)行的代碼！ 自己親手敲的那種?。ú嫜?br> 具體的介紹 我就用注釋寫在下面啦

有問(wèn)題留言哦

import numpy as np

# input: x, w, b output: z 
def layer(x,w,b):
    return np.dot(x , w)+b

# 定義 損失函數(shù)
# input: pred_y & true_y output : loss(pre_y,true_y)
def mse(pred_y, true_y):
    return 0.5 * (pred_y - true_y)**2

# input: pre_y & true_y output: dl_y

def mse_grad(pred_y, true_y):
    return pred_y - true_y

# 激活函數(shù) 
# input: (w*x+b) 線性模型 output:  pre_y
def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# input : pre_y output:dy_z
def sigmoid_grad(y):
    return y * (1-y)


# input: x   output: dz_w,dz_b
def layer_grad(x):
    return x, 1

# input: x,w,b   output ---> pre_y
def forward(x,w,b):
    z=layer(x,w,b)
    return sigmoid(z)

# backward :input: pre_y , true_y  output ---> dw,db
# 反向傳播的主要目的就是更新dw,db 這里的導(dǎo)數(shù)計(jì)算需要一定的微積分基礎(chǔ)哦
def backward(pred_y, true_y,x):
    dl_y = mse_grad(pred_y,true_y)
    dy_z = sigmoid_grad(pred_y)
    dz_w, dz_b = layer_grad(x)
    
    dw = dl_y * dy_z * dz_w
    db = dl_y * dy_z
    
    return dw, db

# 這里多說(shuō)兩句 一定要算清楚 計(jì)算是最基礎(chǔ)的 需要自己動(dòng)筆算的鴨
# 這里變量比較多 主要是要弄清楚每個(gè)函數(shù)的 輸入和輸出
# 第一次寫 我也比較懵逼 所以我都標(biāo)注了每個(gè)函數(shù)的輸入和輸出 
# 因?yàn)楫?dāng)函數(shù)變多的時(shí)候 如果自己都搞不清楚 輸入和輸出的話 很容易就把自己搞暈了

# 定義class
class LogisticRegression(object):

    def __init__(self, in_size, lr):
        self.w = np.random.randn(in_size)
        self.b = np.random.randn(1)
        self.lr = lr
    
    def forward(self,x):
        return forward(x,self.w,self.b)
    
    def backward(self, pred_y, true_y, x):
        return backward(pred_y, true_y, x)
    
# 更新參數(shù)（w,b）
    def step(self, dw, db):
        self.w -= self.lr * dw
        self.b -= self.lr * db

# 訓(xùn)練函數(shù) 其實(shí)都是調(diào)用之前寫好的函數(shù)了
def train(model, X, Y, epochs):
    losses = []
 # epochs ： 訓(xùn)練輪次
    for i in range(epochs):
        inds = list(range(X.shape[0]))
        np.random.shuffle(inds) # 打亂順序 ： 隨機(jī)梯度下降
        loss = 0
      
        for ind in inds:
        # 從輸入矩陣?yán)锩?取出來(lái)一個(gè)樣本
            x = X[ind] 
            y = Y[ind]
            
            pred_y = model.forward(x)
            
            #累計(jì)loss 
            loss += mse(pred_y, y) 
                        
            dw, db = model.backward(pred_y, y, x)
            model.step(dw, db)
        
        # 輸出每一輪的loss 可以觀察到每一輪數(shù)值都在下降
        print("epoch{}, loss = {}".format(i, loss / X.shape[0]))
        
        losses.append(loss)
    
    return losses


# 觀察一下訓(xùn)練的結(jié)果 輸入的是準(zhǔn)確率
def test(model, X, Y):
    correct_cnt = 0
    for i in range(X.shape[0]):
        x = X[I]
        y = Y[I]
        pred_y = model.forward(x)
        
        pred_y = 1 if pred_y > 0.5 else 0
        
        correct_cnt += (y == pred_y)
    
    return correct_cnt / X.shape[0]

n = 10000    #樣本維數(shù)
input_size = 5 
epochs = 500

#初始化w,b
w = np.random.randn(input_size)
b = np.random.randn(1)

# model 實(shí)例
true_lr = LogisticRegression(input_size, 0.001)
true_lr.w = w
true_lr.b = b


# 隨機(jī)生成的數(shù)據(jù) 這樣生成的數(shù)據(jù)是服從正態(tài)分布的
X = [np.random.randn(input_size) for i in range(n)]
Y = [1 if true_lr.forward(X[i]) > 0.5 else 0 for i in range(n)]
X = np.array(X)
Y = np.array(Y)

lr = LogisticRegression(input_size, 0.01)

# 激動(dòng)人心的時(shí)刻！！ 讓我們開(kāi)始訓(xùn)練吧！干巴爹
losses = train(lr, X, Y, epochs)

#讓我們欣賞一下 自己的杰作 （畫個(gè)圖 看看）
import matplotlib.pyplot as plt
plt.plot(range(epochs), losses)

#測(cè)試一下看看
test_X = [np.random.randn(input_size) for i in range(n)]
test_Y = [1 if true_lr.forward(X[i]) > 0.5 else 0 for i in range(n)]
test_X = np.array(test_X)
test_Y = np.array(test_Y)

test(lr, test_X, test_Y)

哈哈哈 ！ 我很滿意！