單樣本感知器算法

單樣本感知器算法僅讀取一次樣本，每讀取一次樣本，就是一次迭代。每次迭代時(shí)，只考慮用一個(gè)訓(xùn)練模式修正權(quán)重矢量。

代碼1

or分類，1 or 0 =1 、0 or 0 =0

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#code:myhaspl@qq.com
#8-1.py
import numpy as np
b=0
a=0.5
#輸入向量
x = np.array([[b,1,1],[b,1,0],[b,0,0],[b,0,1]])
#輸入結(jié)果
d =np.array([1,1,0,1])
#權(quán)重
w=np.array([b,0,0])
#硬限幅函數(shù)
def sgn(v):
    if v>0:
        return 1
    else:
        return 0
#向量到結(jié)果函數(shù)
def comy(myw,myx):
    return sgn(np.dot(myw.T,myx))
#權(quán)重計(jì)算函數(shù)
def neww(oldw,myd,myx,a):
    return oldw+a*(myd-comy(oldw,myx))*myx
#從第一個(gè)向量開始，每次通過上一個(gè)權(quán)重和這個(gè)向量計(jì)算權(quán)重
i=0
for xn in x:
    w=neww(w,d[i],xn,a)
    i+=1

for xn in x:
    print("%d or %d => %d "%(xn[1],xn[2],comy(w,xn)))

代碼2

2x+1=y，7x+1=y 分類

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#8-2.py
import numpy as np
b=1
a=0.3
x=np.array([[b,1,3],[b,2,5],[b,1,8],[b,2,15],[b,3,7],[b,4,29]])
d=np.array([1,1,-1,-1,1,-1])
w=np.array([b,0,0])
def sgn(v):
        if v>=0:
                return 1
        else:
                return -1
def comy(myw,myx):
        return sgn(np.dot(myw.T,myx))
def neww(oldw,myd,myx,a):
        return oldw+a*(myd-comy(oldw,myx))*myx
i=0
for xn in x:
        w=neww(w,d[i],xn,a)
        i+=1

   
test=np.array([b,9,19])
print("%d ~ %d => %d "%(test[1],test[2],comy(w,test)))
test=np.array([b,9,64])
print("%d ~ %d => %d "%(test[1],test[2],comy(w,test)))
print(w)

代碼3

按照分類繪圖

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#8-3.py
import numpy as np
import pylab as pl
b=1
a=0.3
x=np.array([[b,1,3],[b,2,3],[b,1,8],[b,2,15],[b,3,7],[b,4,29]])
d=np.array([1,1,-1,-1,1,-1])
w=np.array([b,0,0])
def sgn(v):
        if v>=0:
                return 1
        else:
                return -1
def comy(myw,myx):
        return sgn(np.dot(myw.T,myx))
def neww(oldw,myd,myx,a):
        return oldw+a*(myd-comy(oldw,myx))*myx
i=0
for xn in x:
        w=neww(w,d[i],xn,a)
        i+=1

#取向量的第二位數(shù)（x值）
myx=x[:,1]
#取向量的第三位數(shù)（y值）
myy=x[:,2]
#繪圖面板
pl.subplot(111)
                  
x_max=np.max(myx)+15
x_min=np.min(myx)-5
y_max=np.max(myy)+50  
y_min=np.min(myy)-5
    

pl.xlabel(u"x")
pl.xlim(x_min, x_max)
pl.ylabel(u"y")
pl.ylim(y_min, y_max)

for i in range(0,len(d)):
    if d[i]>0:
        pl.plot(myx[i], myy[i], 'r*')
    else:
        pl.plot(myx[i], myy[i], 'ro')        


#繪制測試點(diǎn)
test=np.array([b,9,19])
if comy(w,test)>0:
    pl.plot(test[1],test[2], 'b.')
else:
    pl.plot(test[1],test[2],'bx') 
test=np.array([b,9,64])
if comy(w,test)>0:
    pl.plot(test[1],test[2], 'b.')
else:
    pl.plot(test[1],test[2],'bx')
test=np.array([b,9,16])
if comy(w,test)>0:
    pl.plot(test[1],test[2], 'b.')
else:
    pl.plot(test[1],test[2],'bx')
test=np.array([b,9,60])
if comy(w,test)>0:
    pl.plot(test[1],test[2], 'b.')
else:
    pl.plot(test[1],test[2],'bx')
#繪制分類線
testx=np.array(range(0,20))
testy=testx*2+1.68
pl.plot(testx,testy,'g--')
        
pl.show()

代碼4

每次計(jì)算所有向量，梯度下降求權(quán)重

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#code:myhaspl@qq.com
#8-4.py

import numpy as np
b=1
a=0.5
x = np.array([[1,1,3],[1,2,3],[1,1,8],[1,2,15]])
d =np.array([1,1,-1,-1])
w=np.array([b,0,0])
wucha=0
ddcount=50


def sgn(v):
        if v>0:
                return 1
        else:
                return -1
def comy(myw,myx):
        return sgn(np.dot(myw.T,myx))

#梯度下降計(jì)算權(quán)重
def tiduxz(myw,myx,mya):
        i=0
        sum_x=np.array([0,0,0])
        for xn in myx:
                if comy(myw,xn)!=d[i]:
                        sum_x+=d[i]*xn
                i+=1
        return mya*sum_x


        
i=0                
while  True:
        tdxz=tiduxz(w,x,a)
        print(w)
        w=w+tdxz
        i=i+1
        if abs(tdxz.sum())<=wucha or i>=ddcount:break
        

test=np.array([1,9,19])
print("%d %d => %d "%(test[1],test[2],comy(w,test)))
test=np.array([1,3,22])
print("%d %d => %d "%(test[1],test[2],comy(w,test)))

輸出均方誤差

#!/usr/bin/env python
#-*- coding: utf-8 -*-
#code:myhaspl@qq.com
#8-5.py
import numpy as np
b=1
a=0.1
x = np.array([[1,1,1],[1,1,0],[1,0,1],[1,0,0]])
d =np.array([1,1,1,0])
w=np.array([b,0,0])
expect_e=0.005
maxtrycount=20

def sgn(v):
        if v>0:
                return 1
        else:
                return 0
def get_v(myw,myx):
        return sgn(np.dot(myw.T,myx))
#權(quán)重調(diào)整函數(shù)
def neww(oldw,myd,myx,a):
        mye=get_e(oldw,myx,myd)
        return (oldw+a*mye*myx,mye)
#推測值與正確值的差值
def get_e(myw,myx,myd):
        return myd-get_v(myw,myx)


mycount=0
while True:
        mye=0
        i=0          
        for xn in x:
                w,e=neww(w,d[i],xn,a)
                i+=1
                mye+=pow(e,2)  
        mye/=float(i)
        mycount+=1
        print("第 %d 次調(diào)整后的權(quán)值："%mycount)
        print(w)
        print("誤差：%f"%mye)
        if mye<expect_e or mycount>maxtrycount:break 
               
for xn in x:
        print("%d or %d => %d "%(xn[1],xn[2],get_v(w,xn)))

機(jī)器學(xué)習(xí)實(shí)踐指南——案例應(yīng)用解析（麥好）