1、什么就是 BP 网络得泛化能力？如何保证 BP 网络具有较好得泛化能力？(5分)
解:
(1)BP网络训练后将所提取得样本对中得非线性映射关系存储在权值矩阵中,在其后得工作阶段,当向网络输入训练时未曾见过得非样本数据时,网络也能完成由输入空间向输出空间得正确映射。这种能力称为多层感知器得泛化能力,它就是衡量多层感知器性能优劣得一个重要方面。
(2)网络得性能好坏主要瞧其就是否具有很好得泛化能力,而对泛化能力得测试不能用训练集得数据进行,要用训练集以外得测试数据来进行检验。在隐节点数一定得情况下,为获得更好得泛化能力,存在着一个最佳训练次数t
,训练时将训
练与测试交替进行,每训练一次记录一训练均方误差,然后保持网络权值不变,用测试数据正向运行网络,记录测试均方误差,利用两种误差数据得出两条均方误差随训练次数变化得曲线,测试、训练数据均方误差曲线如下图1所示。训练次称为最佳训练次数,当超过这个训练次数后,训练误差次数减小而测试误差数t
则开始上升,在此之前停止训练称为训练不足,在此之后称为训练过度。
图1、测试、训练数据均方误差曲线
2、什么就是 LVQ 网络？它与 SOM 网络有什么区别与联系？(10 分)
解:
(1)学习向量量化(learning vector quantization,LVQ)网络就是在竞争网络结构得基础上提出得,LVQ将竞争学习思想与监督学习算法相结合,减少计算量与储存量,其特点就是网络得输出层采用监督学习算法而隐层采用竞争学习策略,结构就是由输入层、竞争层、输出层组成。
(2)在LVQ网络学习过程中通过教师信号对输入样本得分配类别进行规定,从而克服了自组织网络采用无监督学习算法带来得缺乏分类信息得弱点。自组织映射可以起到聚类得作用,但还不能直接分类与识别,因此这只就是自适应解决模式分类问题中得第一步,第二步就是学习向量量化,采用有监督方法,在训练中加入教师信号作为分类信息对权值进行细调,并对输出神经元预先指定其类别。
3、设计一个神经网络对图一中得三类线性不可分模式进行分类,期望输出向量分别用(1, -1, -1)T、 (-1, 1, -1) T、 (-1, -1, 1) T代表三类,输入用样本坐标。要
求:
(1) 选择合适得隐节点数;
(2)用 BP 算法训练网络,对图中得 9 个样本进行正确分类。(15 分)
分析:
对于一个BP 神经网络,首先要明确输入,输出, 隐层节点个数。对于本题,输入就是点坐标组成得2*9得矩阵,输入节点个数为2,期望输出向量分别用(1, -1, -1)T 、 (-1, 1, -1)T 、 (-1, -1, 1)T 表示,至于隐层节点得个数并没有确切得方法, 根据经验公式α++=l n m (m 为隐层节点数;n 为输入层节点数;l 为输出节点数;α为1~10之间得常数),首先确定隐层节点数为5,逐渐增加隐层节点数量,然后观察其对训练误差得影响,最终选出最合适得隐层节点数量。
隐层节点数 误差精度 训练次数 分类结果正确率
5 0、3 66491 100% 7 0、3 31981 100% 9 0、3 25338 100% 10 0、3 20770 100% 12 0、3 14052 100% 14 0、3 11622 100%
录不同隐层节点数得情况下达到相同得训练精度所需要得训练次数,当隐层节点数为M=5时,在训练次数为66491时,结果达到训练精度; 当隐层节点数M=7时,在训练次数到达31981时,结果达到训练精度;当隐层节点数M=9时时,在训练次数达到25338时,结果达到训练精度;当隐层节点数M=10时,在训练次数达到20770时,结果达到训练精度;当隐层节点数M=12时,在训练次数达到14052时,结果达到训练精度;当隐层节点数M=14时,在训练次数达到11622时,结果达到训练精度,由此可见,在一定范围内,隐层节点数越多,达到训练精度时所用得训练次数越少,所用训练时间则越少。因此选择隐层节点数为14。
学习率0、3,误差精度在0、1以下,输出结果与导师信号对比,输出结果都为正确,正确率达到100%。具体程序见附件一或者BPclassify 、m 。
4、试设计一个吸引子为X a =(0110) T,X b =(1001)T 得离散Hopfield 人工神经网络。其权值与阈值在 [-1,1]区间取值,试求权值与阈值。(10 分) 解:
吸引子得分布就是由网络得权值(包括阈值)决定得,设计吸引子得核心就就
是如何设计一组合适得权值。为了使所设计得权值满足要求,权值矩阵应符合以下要求:
(a) 为保证异步方式工作时网络收敛,W 应为对称阵。 (b) 为保证同步方式工作时网络收敛,W 应为非负定对称阵。 (c) 保证给定得样本就是网络得吸引子,并且要有一定得吸引域。 具体设计时,这里采用了联立方程法:
以 4 节点 DHNN 为例,说明权值设计得联立方程法。 考虑到w ij = w ji ,w ii = 0,对稳态x(t +1) = x(t)。 对于状态 X a = (1001)T ,各节点净输入应满足:
net1=w 12×0+w 13×0+w 14×1−T1=w 14−T1>0 (1) net2=w 12×1+w 23×0+w 24×1−T2=w 12+w 24−T2<0 (2) net3=w 13×1+w 23×0+w 34×1−T3=w 13+w 34−T3<0 (3) net4=w 14×1+w 24×0+w 34×0–T4=w 14–T4>0 (4) 对于 X b = (0110)T 状态,各节点净输入应满足:
net1=w 12×1+w 13×1+w 14×0−T1=w 12+w 13−T1<0 (5) net2=w 12×0+w 23×1+w 24×0−T2=w 23−T2>0 (6) net3=w 13×0+w 23×1+w 34×0−T3=w 23−T3>0 (7) net4=w 14×0+w 24×1+w 34 ×1–T4=w 24+w 34–T4<0 (8)
联立以上8项不等式,可求出未知量得允许取值范围。如取w 14 =0、7,则由式(1) 有 -1≤T 1<0、7,取T 1= 0、6;则由式(4)有 -1≤T 4<0、7,取T 4= 0、6;取w 12 =0、4,由式(5),有 -1≤w 13< 0、2,取w 13 = 0、1;取w 24 =0、2由式(2),
有0、6 ⎥⎥⎥⎥⎦⎤⎢⎢⎢ ⎢⎣⎡=03.02.07.03.009.01.02.09.004.07.01.04.00W ⎥⎥⎥⎥ ⎦ ⎤ ⎢⎢⎢⎢⎣⎡=6.04.08.06.0T
