理論部分:



小技巧,把偏置B當(dāng)作一個(gè)輸入X0來(lái)編程




代碼部分:
#輸入數(shù)據(jù)? //小技巧其中X數(shù)組中的第一個(gè) 1 表示偏置b
X=np.array([[1,3,3],
? ? ? ? ? [1,4,3],
? ? ? ? ? [1,1,1]])
#標(biāo)簽
Y=np.array([1,1,-1])
#權(quán)值初始化,1行3列,取值范圍-1到1
W=(np.random.random(3)-0.5)*2
print(W)
#定義學(xué)習(xí)率
lr=0.11
#計(jì)算迭代次數(shù)變量
n=0
#神經(jīng)網(wǎng)絡(luò)的輸出
O=0
def update():
? ? global X,Y,W,lr,n
? ? n+=1
? ? O=np.sign(np.dot(X,W.T))
? ? W_C=lr*(Y-O.T).dot(X)/int(X.shape[0])#除以會(huì)縮小權(quán)值改變
? ? W=W+W_C
for _ in range(100):
? ? update()#更新權(quán)值
? ? print(W)#打印當(dāng)前權(quán)值
? ? print(n)#打印迭代次數(shù)
? ? O=np.sign(np.dot(X,W.T))#計(jì)算當(dāng)前輸出
? ? if(O==Y.T).all():#如果實(shí)際輸出等于期望輸出,模型收斂,循環(huán)結(jié)束
? ? ? ? print('Finished')
? ? ? ? print('epoch',n)
? ? ? ? break
#正樣本
x1=[3,4]
y1=[3,3]
#負(fù)樣本
x2=[1]
y2=[1]
#計(jì)算分界線斜率以及截距
k=-W[1]/W[2]
d=-W[0]/W[2]
print('k=',k)
print('d=',d)
xdata=np.linspace(0,5)
plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.plot(x1,y1,'bo')
plt.plot(x2,y2,'yo')
plt.show()
結(jié)果(初始化矩陣不同則迭代結(jié)果也會(huì)不同)
初始矩陣 :[ 0.07628016 -0.53674809 -0.38678573]
迭代結(jié)果
[ 0.22294683 -0.02341476? 0.05321427]
1
[ 0.14961349 -0.09674809 -0.02011907]
2
[ 0.22294683? 0.34325191? 0.3465476 ]
3
[ 0.14961349? 0.26991858? 0.27321427]
4
[ 0.07628016? 0.19658524? 0.19988093]
5
[ 0.00294683? 0.12325191? 0.1265476 ]
6
[-0.07038651? 0.04991858? 0.05321427]
7
[-0.14371984 -0.02341476 -0.02011907]
8
[ 0.00294683? 0.48991858? 0.41988093]
9
[-0.07038651? 0.41658524? 0.3465476 ]
10
[-0.14371984? 0.34325191? 0.27321427]
11
[-0.21705317? 0.26991858? 0.19988093]
12
[-0.29038651? 0.19658524? 0.1265476 ]
13
[-0.36371984? 0.12325191? 0.05321427]
14
Finished
epoch 14
k= -2.31614406271
d= 6.83500612549