Python实现最小均方算法(lms)

''''''''''''''''''import##学习率 0<a<1##输入矩阵##期望输出结果矩阵##权重向量##期望误差##最大尝试次数##硬限幅函数(即标准,这个比较简单:输入v大于0,返回1.小于等于0返回-1)''''''defifreturnelsereturn 0 ##跟上篇感知器单样本训练的-1比调整成了0,为了测试需要。-1训练不出结果##读取实际输出 ''''

      

     lms算法跟Rosenblatt感知器相比,主要区别就是权值修正方法不一样。lms采用的是批量修正算法,Rosenblatt感知器使用的

是单样本修正算法。两种算法都是单层感知器,也只适用于线性可分的情况。

      详细代码及说明如下:

复制代码
'''
   算法:最小均方算法(lms)
   均方误差:样本预测输出值与实际输出值之差平方的期望值,记为MES
   设:observed 为样本真值,predicted为样本预测值,则计算公式:
   (转换为容易书写的方式,非数学标准写法,因为数学符号在这里不好写)
   MES=[(observed[0]-pridicted[0])*(observed[0]-pridicted[0])+....
         (observed[n]-pridicted[n])*(observed[n]-pridicted[n])]/n
'''

'''
   变量约定:大写表示矩阵或数组,小写表示数字
   X:表示数组或者矩阵
   x:表示对应数组或矩阵的某个值
'''

'''
     关于学习效率(也叫步长:控制着第n次迭代中作用于权值向量的调节)。(下面的参数a):
     学习效率过大:收敛速度提高,稳定性降低,即出结果快,但是结果准确性较差
     学习效率过小:稳定性提高,收敛速度降低,即出结果慢,准确性高,耗费资源
     对于学习效率的确定,有专门的算法,这里不做研究。仅仅按照大多数情况下的选择:折中值
'''
import numpy as np
a=0.1  ##学习率 0<a<1
X=np.array([[1,1],[1,0],[0,1],[0,0]]) ##输入矩阵
D=np.array([1,1,1,0])  ##期望输出结果矩阵
W=np.array([0,0])   ##权重向量
expect_e=0.005 ##期望误差
maxtrycount=20 ##最大尝试次数

##硬限幅函数(即标准,这个比较简单:输入v大于0,返回1.小于等于0返回-1)
'''
    最后的权重为W([0.1,0.1]),则:0.1x+0.1y=0 ==>y=-x
    即:分类线方程为:y=-x
'''
def sgn(v):
    if v>0:
        return 1
    else:
        return 0 ##跟上篇感知器单样本训练的-1比调整成了0,为了测试需要。-1训练不出结果
    
##读取实际输出   
'''
    这里是两个向量相乘,对应的数学公式:
    a(m,n)*b(p,q)=m*p+n*q
    在下面的函数中,当循环中xn=1时(此时W=([0.1,0.1])):
    np.dot(W.T,x)=(1,1)*(0.1,0.1)=1*0.1+1*0.1=0.2>0 ==>sgn 返回1
'''
def get_v(W,x):
    return sgn(np.dot(W.T,x))##dot表示两个矩阵相乘


##读取误差值
def get_e(W,x,d):
    return d-get_v(W,x)

##权重计算函数(批量修正)
'''
  对应数学公式: w(n+1)=w(n)+a*x(n)*e
  对应下列变量的解释:
  w(n+1) <= neww 的返回值
  w(n)   <=oldw(旧的权重向量)
  a      <= a(学习率,范围:0<a<1)
  x(n)   <= x(输入值)
  e      <= 误差值或者误差信号
'''
def neww(oldW,d,x,a):
    e=get_e(oldW,x,d)
    return (oldW+a*x*e,e)


##修正权值
'''
    此循环的原理:
    权值修正原理(批量修正)==>神经网络每次读入一个样本,进行修正,
        达到预期误差值或者最大尝试次数结束,修正过程结束   
'''
cnt=0
while True:
    err=0
    i=0
    for xn in X:        
        W,e=neww(W,D[i],xn,a)
        i+=1
        err+=pow(e,2)  ##lms算法的核心步骤,即:MES
    err/=float(i)
    cnt+=1
    print(u"第 %d 次调整后的权值:"%cnt)
    print(W)
    print(u"误差:%f"%err)
    if err<expect_e or cnt>=maxtrycount:
        break

print("最后的权值:",W.T)

##输出结果
print("开始验证结果...")
for xn in X:
    print("D%s and W%s =>%d"%(xn,W.T,get_v(W,xn)))


##测试准确性:
'''
   由上面的说明可知:分类线方程为y=-x,从坐标轴上可以看出:
   (2,3)属于+1分类,(-2,-1)属于0分类
'''

print("开始测试...")
test=np.array([2,3])
print("D%s and W%s =>%d"%(test,W.T,get_v(W,test)))
test=np.array([-2,-1])
print("D%s and W%s =>%d"%(test,W.T,get_v(W,test)))
复制代码

    输出结果:

复制代码
第 1 次调整后的权值:
[ 0.1  0.1]
误差:0.250000
第 2 次调整后的权值:
[ 0.1  0.1]
误差:0.000000
最后的权值: [ 0.1  0.1]
开始验证结果...
D[1 1] and W[ 0.1  0.1] =>1
D[1 0] and W[ 0.1  0.1] =>1
D[0 1] and W[ 0.1  0.1] =>1
D[0 0] and W[ 0.1  0.1] =>0
开始测试...
D[2 3] and W[ 0.1  0.1] =>1
D[-2 -1] and W[ 0.1  0.1] =>0
复制代码

     从结果看出,经过2次训练,就得出了最优结果。

    补充说明:经过多次调整样本或者权重,在20次循环中有时候出结果,有时候找不到最优解。所以在实验过程中,没有达到

预期结果,除了循环次数不够之外,最大的可能就是样本或者权值设置的问题。

 


作者:quryktcs
原文链接:https://blog.csdn.net/quryktcs/article/details/71331826

  • 发表于 2019-11-07 22:13
  • 阅读 ( 42 )
  • 分类:python

0 条评论

请先 登录 后评论
不写代码的码农
quryktcs_csdn

0 篇文章

作家榜 »

  1. AI君 10 文章
  2. Tzung-Wen Liau 0 文章
  3. blairan 0 文章
  4. rookie 0 文章
  5. 陈凯 0 文章
  6. huanxue 0 文章
  7. admin 0 文章
  8. Lzs1998_csdn 0 文章